Den föreslagna överenskommelsen syftar till att försöka lindra Europas migrationskris.
Men Gove sade att Turkiet hade sett en "erosion av grundläggande demokratiska friheter" och att EU borde protestera och inte erbjuda "koncessioner".
David Cameron har sagt att det skulle vara "bokstavligen årtionden" innan Turkiet var redo att ansluta sig till EU.
Och han har sagt att Förenade kungariket har vetorätt över det som händer, och säger att alla andra EU-medlemmars överenskommelse - liksom 28 nationella parlament - var nödvändig innan ett nytt land kunde ansluta sig.
Men Gove sade att det var en "officiell brittisk regeringspolitik" för Turkiet att bli medlem i blocket och "att inte ha en folkomröstning om nya länders anslutning".
EU:s folkomröstning den 23 juni var den enda chansen för Storbritannien att få säga sitt om fri rörlighet från Turkiet, tillade han.
Frågan om Turkiets försök att ansluta sig till EU - och den föreslagna överenskommelsen om att bevilja turkar viseringsfria resor i utbyte mot att Turkiet tar tillbaka migranter som har korsat Egeiska havet till Grekland - utlöste en rad tidigare i EU:s folkomröstningskampanj.
I ett tal på onsdag vid Voice Leaves huvudkontor återvände Gove, en av de ledande kampanjdeltagarna, till frågan och varnade för vad han sade var säkerhetskonsekvenserna av att utvidga EU till Turkiet.
Han sade: "Med det terroristhot som vi står inför bara växer är det svårt att se hur det skulle kunna ligga i vårt säkerhetsintresse att öppna viseringsfria resor till 77 miljoner turkiska medborgare och skapa en gränsfri zon från Irak, Iran och Syrien till Engelska kanalen.
"Det är ännu svårare att se hur en sådan kurs är klok när extremister överallt tror att västvärlden öppnar sina gränser för att blidka en islamistisk regering."
Gove sade att Turkiets "demokratiska utveckling" hade gått in i "omvänd" under president Erdogan.
Han tillade: "Vi och Europeiska unionen bör på det tydligaste och högsta möjliga sätt protestera mot denna urholkning av grundläggande demokratiska friheter.
"Men i stället gör vi och Europeiska unionen efter medgivande till Erdogan."
Premiärministern har tidigare anklagat Leave-kampanjdeltagarna för att göra "ett mycket vilseledande påstående om Turkiet" och EU.
Denna fråga omfattar invandring och fri rörlighet inom Europa.
Förra månaden sade Cameron: "Det skulle vara årtionden, bokstavligen årtionden, innan detta hade en möjlighet att hända och även i det skedet skulle vi fortfarande kunna säga nej."
Och han tillade: "Det faktum att kampanjen om ledighet får saker och ting så rättframt som detta fel, anser jag att man bör ifrågasätta hela deras omdöme om att göra det större argumentet om att lämna EU.
"De säger i grund och botten rösta för att komma ut ur Europa på grund av denna fråga om Turkiet att vi inte kan sluta gå med i EU. Det är inte sant."
Under 2010 lovade David Cameron att "strida" för Turkiets anslutning till EU och sade att han var "arg" över bristen på framsteg i förhandlingarna.
I ett tal till det turkiska parlamentet sade han att han ville att de två länderna skulle arbeta tillsammans för att " bana väg från Ankara till Bryssel" och lovade: "Jag kommer att förbli er starkaste möjliga förespråkare för EU-medlemskap och för ökat inflytande vid den europeiska diplomatins toppbord."
Rösta Lämna verkställande Matthew Elliot har anklagat statsministern för vilseledande väljare i frågan, säger: "Han hävdar fortfarande att Turkiet inte kommer att gå med i EU medan hans regering spenderar 1 miljard pund för att hjälpa till att påskynda deras medlemskap."
Justitieminister Michael Gove har utfärdat en ny varning om risken för viseringsfria EU-resor för turkiska medborgare.