Efter en dour första period, James Constables drivna insats gav den out-of-form bort sidan en överraskning ledning.
Fördelen varade bara tre minuter men som Parkin sköt hem från centrum av området.
Med tiden rusade Parkin hem vinnaren innan besökarnas Ben Strevens skickades iväg i skada tid för spott.
Forest Green assistent Jamie Day berättade för BBC Radio Gloucestershire:
Mediauppspelning stöds inte på den här enheten
"Det är spännande, det håller alla på tårna. Jag tyckte att vi spelade bra, jag är besviken över att vi gick efter igen, som vi har gjort de senaste veckorna."
"Vi visade karaktär att komma tillbaka in i spelet och att sedan få en vinnare var första klass från pojkarna."
"Det finns två lag jag tror slåss ut på toppen, så kredit till Cheltenham att de har gjort riktigt bra för att gå till Tranmere och få ett resultat och vi måste bara hålla igång och oroa oss för oss själva."
Jon Parkin nettade en sen vinnare som National League promotion-chasers Forest Green slog 10-man Eastleigh.