Mediauppspelning stöds inte på den här enheten
Röda Devils tittade ner och ut när de följde 18-10 med två minuter kvar på Lightstream Stadium.
Men ett andra försök från Niall Evalds och Greg Johnsons poäng med den sista pjäsen av normal tid jämnade ut poängen.
O'Briens missade konvertering tvingade extra tid men han svarade med en droppe mål från nära halvvägs för att vinna den.
Det var ett dramatiskt slut på ett fängslande spel och resulterade i att Hull KR hoppade av Super League efter en 10-årig trollformel i toppflyget.
Det var också andra gången på en vecka som Hull KR, som inte rörde bollen i extra tid, drabbades av nederlag till ett sent drop-goal.
Danny Broughs kontroversiella insats förra lördagen gav Huddersfield en 23-22 seger för att fördöma Robins till en plats i Million Pound Game.
Striderna bröt ut efter sista visselpipan när Salford-fans invaderade planen för att fira sin sidas fantastiska comeback.
Det fanns föga tecken på dramat att komma när Hull KR dominerade öppningen 20 minuter och ledde 10-0 genom försök av Adam Walker och Josh Mantellato.
Ben Murdoch-Masila landade efter Salfords första riktiga attack och de var anmärkningsvärt nivå när Evalds gick över i vänstra hörnet.
Mantellatos straff strax före halvtid och Thomas Minns andra halva försök verkade ha gjort tillräckligt för att säkra Rovers plats i Super League nästa säsong, bara för att bedövas av Salfords sena kamp tillbaka.
Medan Hull KR kommer att spela i mästerskapet nästa säsong, Salford seger innebär ett turbulent år på AJ Bell Stadium slutar på en hög.
De drogs av sex poäng i april för brott mot reglerna om lönetak och fick nöja sig med en plats i kvalificeringarna efter att ha förlorat sitt överklagande.
Detta beslut lämnade ägaren Marwan Koukash med tanke på sin framtid på klubben, som han köpte 2013 och har sett finish inte högre än 10: e.
Men han antydde i de omedelbara efterdyningarna av den seger som han nu kommer att stanna på.
Salford tränare Ian Watson:
"Idag glammades upp som en Grand Final, men det är ett riktigt allvarligt spel. Jag tror på befordran och nedflyttning, jag tycker bara inte att du ska spela ut för att besluta nedflyttning, du spelar för att vinna saker.
"Det finns en stor känsla av lättnad eftersom vi kände hårt gjort genom att förlora sex poäng. Jag känner för Hull KR och vad de kommer att gå igenom de närmaste veckorna.
"Jag känner mig glad och stolt över pojkarna. Det kommer att bli en verklig känsla av prestation när de ser tillbaka.
"Jag har sett sista minuten-drop-mål innan men aldrig en sån. Det var en stor pjäs av Gaz O'Brien. Han är en enorm kicker av bollen, men jag tror inte han någonsin kommer att sparka en sådan igen."
Skrov KR mellanliggande huvudtränare James Webster:
"Grattis till Salford, de kom på tre riktigt bra pjäser för att vinna spelet. De är ett team som kan slå till på avstånd, det visste vi.
"Jag är stolt över pojkarna, de satte varenda sak i det och det var en riktigt hög kvalitet spel. Det var en av de bättre spel du kommer att se i år.
"Omklädningsrummet är inte en bra plats att vara på.
"Jag tycker det är svårt att en arbetaridrott kan förhärliga något sådant. Detta spel har förhärligats som en final. Hur är det en final? Jag kan inte förstå allt. Om vi hade vunnit hade jag sagt detsamma."
Cockayne, Sio, Minns, Thornley, Mantelato, Campese, Marsh, Tilse, Lunt, Walker, Blair, Clarkson, Donaldson.
Ersättningar: Horne, Peacock, Allgood, Jubb.
Salford: O'Brien, Johnson, Jones, Sa'u, J. Griffin, Lui, Dobson, Burgess, Tomkins, Griffin, Murdoch-Masila, Hauraki, Flanagan.
Ersättningar: Kopczak, Krasniqi, Evalds, Kenny.
Närvaro: 6 562
Domare: Phil Bentham (RFL)
Gareth O'Brien sparkade en droppe mål i golden-point extra tid som Salford vann 'Million Pound Game' 19-18 för att relegate Hull KR från Super League.