Nathan Smiths overhead kick slog i baren och studsade in av turlös väktare Dean Snedkers tillbaka för att ge Gulls en tidig ledning innan Nathan Blissetts höga huvudet fördubblade fördelen.
Kelvin Langmead gick in innan Arthur Gnahoua sköt hem utjämnaren.
Men Smith petade i en 82:a minut vinnare efter en goalmouth crumpe för att tjäna Torquays fjärde på varandra följande seger.
Det lämnar Gulls fyra poäng från säkerhet med ett spel i handen, men Colin Gordons Harriers är nu 11 poäng på 20: e plats Boreham Wood med nio matcher kvar.
Tidigare Harriers strejker Blissett mål var hans fjärde i sex matcher sedan anländer på lån från Bristol Rovers.
Torquay United, 22nd i National League, kantade en spännande nedflyttningsstrid med bottenklubben Kidderminster.