De Roughyeds, fjärde från botten av den andra nivån, ledde 24-6 i pausen med försök från Will Hope, Richard Lepori, Steve Roper och Adam Clay.
Shaun Lunt, Dane Tilse, Maurice Blair och Joe Wardill korsade efter pausen för att ge Super League-sidan hopp.
Men missade omvandlingar visade sig kostsamma som Gary Middlehurst och Leporis andra försök säkrade seger för Oldham.
Skrov KR tränare James Webster beskrev sin sidas prestation som en "utter pinsam".
Mediauppspelning stöds inte på den här enheten
Rovers, som förlorade 50-0 till Leeds i förra årets final på Wembley, har bara vunnit två gånger i Super League den här säsongen och förlorade 40-0 till katalanska drakar i sin senaste match.
De förväntades fortfarande slå deltidsspelare Oldham, som är i sin första säsong i mästerskapet efter att ha vunnit befordran från League 1.
Men Oldham överträffade dem sex försök till fem, medan Lewis Palfreys sex mål till Ben Cocaynes en gav den näst bästa sidan en ytterst bekväm marginal av seger mot värdarna, som slutade med 12 män efter Cocayne skickades till synda-bin ögonblick innan Lepori försök med spelets sista drag.
Under tiden, förra säsongens Championship vinnare och Challenge Cup jätte mördare Leigh, som knockade Super League sidor Wakefield och Salford, är ute efter att förlora 10-8 på League 1 sida Toulouse.
Batley Bulldogs är också igenom till den sjätte omgången efter en 28-10 seger över andra Championship sida Featherstone Rovers.
Oldham Roughyeds tränare Scott Naylor: "Detta är förmodligen den största vinsten sedan klubben reformerades [1997]. Vi pratade om 20 minuter, sen 30 minuter och se vad som händer.
"Vi förväntade oss inte att halvtidspoängen skulle vara 24-6 och vi visste att de skulle komma ut i andra halvlek och göra ett försök efter att ha fått lite rostning. För klubben är detta något vi kommer att värdesätta.
"Det är en massiv dag för Oldham och det kan vara en massiv natt för spelarna. Jag går hem och tar några öl med min familj."
Skrov KR tränare James Webster: "Det var den största förlägenheten i min karriär sedan innan jag slutade skolan. Det vi gjorde var fullständigt pinsamt.
"Jag har skyddat dessa pojkar sedan jag har varit här, men jag måste be alla som är knutna till den här klubben om ursäkt. Det är inte av en nivå som behövs för att plocka upp den lön de får.
"Supporters ger upp bilar, semester att följa denna klubb eftersom jag har att göra med dessa människor varje dag. Jag förstår vad folk tycker och allt är sant.
"Bra gjort till Oldham eftersom jag tyckte att de spelade mycket bra."
Cockayne, Wardill, Sio, Thornley, Dixon, Blair, Marsh, Tilse, Lunt, Greenwood, Clarkson, Walker.
Ersättningar: Mulhern, Donaldson, Boudebza, Lawler.
Oldham: Lepori, Clay, Gee, Grimshaw, Chisholm, Palfrey, Roper, Joy, Owen, Spencer, Middlehurst, Langtree, Hope.
Ersättningar: Ward, Hughes, Files, Thompson
Ref: S Ansell
Championship sida Oldham Roughyeds bedövade förra säsongens Challenge Cup finalister Hull KR för att nå de sista 16.