Homosexuella handlingar är olagliga i den östafrikanska nationen och bestraffas med upp till 30 års fängelse.
De som annonserade homosexuella aktiviteter på nätet skulle också bli riktade, varnade politikern.
Tweeters anklagade honom för homofobi och kränkande av rätten till yttrandefrihet på nätet.
Men Hamisi Kigwangalla hävdade att homosexualitet inte fanns vetenskapligt och var en social konstruktion.
I en tweet skriven på swahili och engelska sade han: "Har du någonsin stött på en homosexuell get eller fågel? Homosexualitet är inte biologiskt, det är onaturligt."
42-åringen, som är läkare per yrke, hävdade att homosexualitet bara kan förknippas med en urban livsstil.
Han sade att det inte fanns några homosexuella i den lilla staden i centrala Tanzania där han kom ifrån.
Tweeter: "Konsidera det faktum att ditt drag bara kommer att driva på mer hat, våld och ökade lynchningar i maffian"
Svar: " Det är min plikt som chefsadministratör för landets regler och politik! Jag har inga problem med "gemenskapen"
Tweeter: "Frihet att välja, yttrandefrihet och rätt till privatliv är konstitutionella berättigade rättigheter. Må Gud förändra ditt hjärta"
Svar: "Frihet/rättigheter har gränser och båda skyddas av lag! Lagen i Tanzania har gränser när det gäller sexualitet"
Tweeter: "Det verkar som om politiken har fått dig att glömma vetenskapens grunder. Homosexualitet är delvis ett resultat av biogenetik"
Svar: " Det finns ingen litteratur som tyder på det. Homosexualitet har inget vetenskapligt stöd! Jag är vetenskapsman och jag läser mycket än du tror."
Tidigare denna månad beordrade Dr Kigwangalla tre män som han anklagade för att vara gay att anmäla sig till polisen för att ha "spridt" homosexualitet genom sociala medier, i strid med lagen.
Det är oklart om de har blivit åtalade.
Dr Kigwangalas frispråkiga kommentarer på Twitter följer hälsoministeriets flytt förra veckan för att avbryta verksamheten vid 40 drop-in HIV/Aids kliniker, anklaga icke-statliga organisationer för att använda dem för att främja homosex.
BBC:s Sammy Awami i Dar es Salaam säger att de flesta tanzanier är starkt emot homosexualitet - och det homosexuella samhället håller sig för sig självt.
Men homosexualiteten nämndes som en av de tre stora utmaningar som landet stod inför i en parlamentarisk debatt om Aids tidigare denna månad.
Parlamentsledamot Hussein Bashe sade att de andra frågorna var narkotikamissbruk och dålig utbildning.
Hotet att publicera namnen på misstänkta homosexuella i Tanzania har försvarats av den biträdande hälsovårdsministern i en våldsam rad på Twitter.