Den tidigare officeren lovade att vara "ännu farligare än när jag var i uniform".
Han lovade också att göra sin lilla västafrikanska nation till en "ekonomisk supermakt" under de kommande fem åren.
President Jammeh tog makten för första gången 1994 men omvaldes i december i en mycket kritiserad undersökning.
"Du kan inte vara på ditt kontor varje dag gör ingenting... och i slutet av dagen du förväntar dig att få betalt", sade han på en TV-adress på onsdag.
"Det här måste få ett slut. Antingen gör du ditt jobb eller går eller hamnar i fängelse, sa presidenten.
"Jag kommer att utplåna nästan 82% av dem i arbetskraften under de kommande fem åren med början denna fredag om de inte ändrar sin inställning," sade han - utan att utveckla.
Jammeh lovade också "nolltolerans" när det gäller korruption och narkotika.
Gambia - ett populärt resmål för utländska turister - har nyligen blivit en viktig transitpunkt för kokain som smugglas från Latinamerika.
Ordföranden lovade också att fokusera mer på kvinnors egenmakt och skapa fler arbetstillfällen för ungdomarna.
Jammeh - som först kom till makten i en blodfri kupp 1994 - har kritiserats av internationella rättighetsgrupper för att ha undertryckat alla meningsskiljaktigheter.
På tisdagen dömdes före detta informationsminister Amadou Scatred Janneh, amerikansk medborgare, till livstids fängelse för att ha planerat en statskupp och delat ut T-shirts med parollen "End to Dictatorship Now".
Yahya Jammeh har svurits in för en fjärde mandatperiod som Gambias president och lovade att "wipe ut 82%" av arbetare, anklaga dem för att vara lata.