Mer än 350 romer hade bott i lägret på La Petite Ceinture sedan mitten av 2015. Aktivister sade att många lämnade tidigt före polisens agerande.
Platsen tillhör den nationella järnvägsmyndigheten SNCF.
Frankrike har en av EU:s hårdaste politik gentemot romer. De flesta bor i läger som regelbundet rivs och varje år utvisas tusentals människor.
Amnesty International uppmanade stadsmyndigheterna att hitta en varaktig bostadslösning för dem som vräktes i Paris - att de skulle bli hemlösa mitt i vintern.
Hundratusentals romer - mestadels från Rumänien och Bulgarien - har flyttat till Västeuropa sedan 1990-talet.
Europarådet, regionens viktigaste organ för mänskliga rättigheter, varnade för att vräkningar var kontraproduktiva eftersom de störde utbildning och hälso- och sjukvård för romska barn.
Europarådets generalsekreterare Thorbjörn Jagland sade att det var av avgörande betydelse för de franska myndigheterna att tillhandahålla "lämpliga, alternativa bostäder" för dem som vräkts, "särskilt eftersom de har beslutat att vidta dessa åtgärder under vintern".
Frankrikes oönskade romer
Polisen har rensat ut hundratals romer från ett slumliknande läger byggt på en kasserad järnvägslinje i norra Paris.