Islamic Center av Boca Raton hade planerat att vara värd för en valplats för statens primära i augusti och det allmänna valet i november.
Tjänstemän tillbakavisade inbjudan och fick skarp kritik från Floridas lagstiftare, som sade att den stärkte religiös diskriminering.
Webbplatsen flyttades till ett närliggande bibliotek.
Länsvalsövervakare Susan Bucher sade att hon flyttade platsen efter att ha fått omkring 50 klagomål från människor som sade att de inte ville rösta i en moské.
Islamic Center har använts som vallokal åtminstone sedan 2010, Washington Post rapporterade.
Democratic US Representant Ted Deutch och Lois Frankel släppte uttalanden mot flytten.
"Om vi ska använda gudstjänstplatser som vallokaler bör vi inte diskriminera", sade Jean-Luc Deutch.
Det är oklart hur många hus för tillbedjan som används som vallokaler över hela landet, men kyrkor väljs ofta ut som värdplatser på grund av sina stora hörsalar och parkeringsplatser.
Moskéer i Kalifornien, Iowa, Pennsylvania och Ohio har fungerat som vallokaler, bland annat en som har använts sedan åtminstone 2004 enligt AP:s nyhetsbyrå.
En moské i Florida har tagits bort som vallokal för 2016 års val efter att lokala tjänstemän fått klagomål och hot om våld.