Mediauppspelning stöds inte på den här enheten
Efter 30 minuter knackade Danny Wright in från James Daytons frikick för att sätta Robins framför.
Men Tubbs planade ut efter omstarten och la sig på Maxime Biamous huvud och spårade in från 10 meter ut.
Robert Dickie gick mot baren för Robins sent, innan Deacon sköt in för att vinna matchen i tillägg tid.
Sutton har vunnit bara en av sina senaste åtta matcher i National League - inklusive en 6-0 hem nederlag av Dover på tisdag - men Deacon sent heroics tjänade dem en plats i tredje omgången för första gången på 22 år.
U: s har två gånger gått ännu längre i tävlingen, når den fjärde omgången 1970, och igen 1989 efter att de berömda slog First Division Coventry City i omgång tre.
De kommer att få £27.000 för att ta sig igenom den andra omgången, och kunde tjäna en lukrativ slips med Premier League eller Championship opposition när den tredje omgången dragning sker på måndag.
Matchen slutar, Sutton United 2, Cheltenham Town 1.
Andra halvlek, Sutton United 2, Cheltenham Town 1.
Utanför Cheltenham Town. Robert Dickie försöker en genom boll, men Daniel Wright fångas offside.
Mål!  Sutton United 2, Cheltenham Town 1. Roarie Deacon (Sutton United) höger fotade skott från höger sida av lådan till nedre vänstra hörnet. Hjälpt av Nicky Bailey.
Substitution, Sutton United. Adam May ersätter Matt Tubbs.
Daniel Spence (Sutton United) visas det gula kortet för en dålig foul.
Foul av Daniel Spence (Sutton United).
James Dayton (Cheltenham Town) vinner en frispark på högerkanten.
Försöket räddades. Roarie Deacon (Sutton United) höger fotade skott från utsidan rutan sparas i nedre vänstra hörnet. Hjälpt av Simon Downer med ett nyckelkort.
Försöket räddades. Daniel O'Shaughnessy (Cheltenham Town) huvud från mitten av lådan sparas i nedre högra hörnet. Hjälpt av Kyle Storer.
Foul av Craig Eastmond (Sutton United).
James Dayton (Cheltenham Town) vinner en frispark i den defensiva halvan.
Försök blockerat. Harry Pell (Cheltenham Town) höger fotade skott utanför lådan är blockerad. Hjälpt av Kyle Storer.
Nicky Bailey (Sutton United) visas det gula kortet för en dålig foul.
Foul av Nicky Bailey (Sutton United).
Billy Waters (Cheltenham Town) vinner en frispark i anfallshalvan.
Försening över. De är redo att fortsätta.
Försening i match Nicky Bailey (Sutton United) på grund av en skada.
Craig Eastmond (Sutton United) vinner en frispark i den defensiva halvan.
Foul av Daniel Wright (Kheltenhams stad).
Robert Dickie (Cheltenham Town) träffar baren med en rubrik från mitten av lådan. Hjälpt av James Dayton med ett kors som följer ett hörn.
Hörnet, Cheltenham Town. Sammankallad av Jamie Collins.
Substitution, Cheltenham Town. Jon Smith ersätter Jack Munns.
Ross Worner (Sutton United) vinner en frispark i den defensiva halvan.
Foul av Billy Waters (Cheltenham Town).
Försening över. De är redo att fortsätta.
Försening i matchen Ross Worner (Sutton United) på grund av en skada.
Foul av Craig Eastmond (Sutton United).
Jack Munns (Cheltenham Town) vinner en frispark i den defensiva halvan.
Simon Downer (Sutton United) visas det gula kortet.
Gomis (Sutton United) vinner en frispark på högerkanten.
Foul av Daniel O'Shughnessy (Kheltenhams stad).
Försök missade. Roarie Deacon (Sutton United) höger fotade skott från utsidan lådan är nära, men missar till vänster. Hjälpt av Daniel Spence.
Simon Downer (Sutton United) vinner en frispark i anfallshalvan.
Foul av James Dayton (Kheltenhams stad).
Foul av Roarie Deacon (Sutton United).
James Dayton (Cheltenham Town) vinner en frispark i den defensiva halvan.
Försök missade. Roarie Deacon (Sutton United) vänster fotade skott från vänster sida av lådan är bara lite för hög.
Försöket räddades. Roarie Deacon (Sutton United) höger fotade skott från vänster sida av rutan sparas i nedre vänstra hörnet. Hjälpt av Craig Eastmond.
Foul av Maxime Biamou (Sutton United).
Roarie Deacons sena vinnare hjälpte icke-league Sutton United slå League Två sida Cheltenham Town i FA Cup andra omgången.