East Superleague sidan föll efter när Paul Quinn sköt in från ett hörn för sitt andra mål i två matcher.
Rose drog nivå genom en Jamie Reckord eget mål, men Graham och Alex Schalk satte Premiership sidan i kontroll.
Men semi-proffsen vägrade att spänna och Ruari MacLennan gjorde sin fjärde cup mål innan Graham pounced att slutligen lösa slipsen.
Medan länet flyttar in i kvartsfinalen, den första juniorsidan att nå de sista 16 i tävlingen var långt ifrån vanärad.
Det är en indikation på styrkan i hans trupp att länschef Jim McIntyre kunde göra sex ändringar till sidan som slog Celtic i förra veckans League Cup semifinal.
Det fanns verkligen inga tecken på störningar tidigt som Premiership outfit tävlade i ledningen i deras första allvarliga attack efter en ljus start av besökarna.
Colin Leiper var nära att leda Ian McShanes hörn in i sitt eget nät med Ryan Baptie rensa av linjen, men bollen bröt till Quinn, som hamrade hem från 12 yards för hans andra mål sedan hans återkomst från Aberdeen.
Många skulle ha förväntat sig att Rose vissnar efter den fjärde minuten bakslag, men de visade riktig karaktär för att ta spelet till Staggies och skapa ett par anständiga chanser.
Conor Kelly sköt ett skott över baren från kanten av lådan sedan Tommy Coyne bytte passerar med Graham Weir innan tvinga Gary Woods i en räddning på ett liknande avstånd.
Countys största hot fortsatte att vara från set bitar, med Quinn och Raffa De Vita kommer nära, medan Linlithgow målvakt Ally Adams gjorde en enastående dykning spara lågt till vänster för att förhindra Brian Graham konvertera Jonathan Franks inbjudande kors.
Rose har visat motståndskraft under hela deras skotska Cup äventyr och, efter Ruari McLennan sedan Blair Batchelor hade skott blockerade, Scott Boyd sprängde det av mållinjen mot Reckord och in i det tomma nätet för att starta vilda fester bland Rose spelarna och deras stora resestöd.
De fortsatte att ge så bra som de fick i början av den andra halvan, med Batchelor tvingar Woods i en räddning, men Premiership sidans överlägsenhet på satt bitar lönade sig.
McShane vispade i ett annat hörn från vänster och Graham sprang hem från sex meter.
Schalk dödade slutligen slipsen fem minuter senare när Jackson Irvine hittade utrymme i lådan att gå på för holländaren att slå bollen på nära håll.
Tillbaka kom juniorsidan med en smickrande passning som klimaxerades av MacLennans slut på 75 minuter bara för Staggies att förstöra någon chans till en sagofinish.
Graham gjorde sitt sjunde mål för säsongen med ett skott från kanten av området för att lämna Rose att koncentrera sig på nästa veckas skotska Junior Cup slips bort till Kilwinning Rangers.
Brian Grahams dubbel hjälpte Ross County avsluta junior sidan Linlithgow Rose modiga skotska Cup springa.