Morton är väl placerade för att säkra en mästerskap play-off plats efter tisdagens 1-0 seger på Raith Rovers.
De var en av bara två sidor för att tjäna en punkt på Ibrox i ligan förra säsongen, och Duffy insisterar på att de kommer att göra det "så obekvämt som möjligt".
"[En Morton seger] skulle vara en monumental upprörd," sade han BBC Skottland.
"Faror är ett annat förslag på Ibrox. Även om de drog förra helgen [1-1 mot Ross County], har deras hemform varit mycket bra under de senaste åren under Mark Warburton.
"Pitchen, bredden på Ibrox passar verkligen den stil de spelar. Men vi kommer säkert att gå dit med lite mer hjärta efter igår kväll [vinsten på Raith].
"Den tunga planen tog sin tribut så vi måste se till att vi återhämtar oss rätt och förbereda taktiskt också.
"Vi kommer att gå dit och försöka göra det så obekvämt en dag som vi möjligen kan för Rangers. Om vi spelar bra, lyckas kväva Rangers lite och behålla bollen, kan vi frustrera dem."
Med förra säsongens Championship vinnare Rangers 27 poäng bakom Celtic i Premiership, tror Duffy Warburton sida kommer att lägga extra tonvikt på söndagens femte omgången slips.
"Sanningen att vara en stor klubb som Rangers är förväntningarna är enorma," noterade den tidigare Dundee center-back och chef.
"De vet att det är deras enda chans att silver denna säsong. Celtic har redan fått League Cup, och har alla utom lindade upp ligan, så den enda trofé tillgängliga för Rangers och deras anhängare är skotska Cup.
"Det kommer att vara det huvudsakliga målet och målet nu som kommer att göra det dubbelt svårt för oss eftersom allt deras fokus kommer att vara på det.
"Men vi har ett jobb att göra - att stanna i spelet och vara svårt att slå. Om Rangers blir lite nervösa, och deras fans blir frustrerade, då vet man aldrig. Men vi måste vara tillräckligt bra för att dra nytta av dessa situationer."
Mediauppspelning stöds inte på den här enheten
Mortons seger i Stark's Park lyfte dem till inom två punkter av andra plats Dundee United och nio utanför Championship ledare Hibernian, men avgörande, nio punkter från femte plats drottningen i söder i kampen om en play-off plats.
Duffy tror att utsikten till en lutning på titeln är orealistisk, insisterar en play-off plats kommer att vara en betydande prestation för Greenock outfit.
"Om vi kommer in i play-offs, vi kommer att sjunga och dansa, det finns ingen tvekan om det", tillade han.
"Men det är fortfarande långt kvar. Många klubbar kommer att vara utmanande för det. Det kommer att finnas klubbar som kan hitta en kör av form och du kan ta ett dopp.
"Men spelarna visade fantastisk karaktär att studsa tillbaka från en besvikelse helgen [förlorar till Queen of the South] och det sätter oss upp fint för skotska Cup slipsen mot Rangers."
Greenock Morton chefen Jim Duffy säger att det skulle vara en enorm chock om hans sida skulle slå Rangers ur skotska Cup på Ibrox på söndag.