Stadens borgmästare, Joao Doria, sade att han inte ville se en "öppen luft köpcentrum för droger".
Han sade att han ville flytta missbrukare vidare och förse dem med sjukvård och bostäder.
Kritiker säger att hans politik driver problemet till andra delar av staden.
I slutet av maj utplacerades 500 beväpnade poliser för att rensa huvudgatorna i Sao Paulo, känd som "Cracolandia" eller "Crackland".
Nästan 40 personer greps under operationen för narkotikahandel och många av missbrukare flydde in på angränsande gator.
Den största koncentrationen gick till Princess Isabel-torget ca 300 meter (330 yds) från Cracklands huvudområde.
Under den andra operationen på söndagen tog polisen in bulldozers för att rensa hyddor och tält som sattes upp av missbrukare på torget.
Borgmästaren sade: " Vi kommer inte att vända tillbaka. Tanken är inte att flytta dem någon annanstans, vi har för avsikt att ge missbrukare stöd och försöka garantera deras överlevnad."
Han har lovat att restaurera och renovera området för att tillhandahålla subventionerade bostäder, skolor, daghem och sjukhus med hjälp av privata och offentliga investeringar.
Även om många människor i Sao Paulo är överens om behovet av intensiv polisverksamhet i området, har Doria splittrat åsikten om hans förslag att missbrukare bör få tvångsrehabilitering.
Men arbetarna säger att många missbrukare är rädda och fientliga mot dem nu och att Dorias politik förstör åratal av arbete för att bygga upp relationer med missbrukare.
Socialarbetare pekar också på behovet av att skapa arbetstillfällen och bostäder.
Doriaadministrationen avslutade ett program som infördes av den tidigare vänsterborgmästaren i Sao Paulo, Fernando Haddad, som hade erbjudit hotellrum i Crackland för en liten daglig summa till narkotikamissbrukare som arbetade med jobb som vägsvettning eller trädgårdsarbete.
Borgmästaren har i stället nyligen tillkännagett ett erbjudande om 100 arbetstillfällen av en snabb livsmedelskedja till hemlösa i allmänhet, varav det finns omkring 20 000 i Sao Paulo.
Säkerhetsstyrkorna i Sao Paulo har rensat ett centralt torg med crackmissbrukare och hemlösa människor som flydde från en liknande polisoperation i närheten för nästan en månad sedan.