Värdarna förlorade öppnaren Chris Dent för en anka i fjärde över och Gareth Roderick (23) kort därefter.
Will Tavare (20) och Michael Klinger (10) fortsatte att falla stadigt tills Hamish Marshall (58) och Phil Mustard (38) ledde värdarnas återhämtning.
Men Viljoen svepte genom svansen för att avsluta med imponerande siffror på 5-55.
Sydafrika snabb bowlaren Hardus Viljoen tog fem wickets på hans Kent debut när de bowlade Gloucestershire ut för 221 på dag ett i Bristol.