Marknadskorset av klass II i Ilchester slogs ner efter att ha blivit påkörd av en bil på fredag.
En 28-årig man greps av polisen under de tidiga timmarna misstänkt för rattfylleri.
Stadsförvaltare Graham Mottram, sade: "Vår stora utmaning är att sätta samman monumentet igen med så mycket av det ursprungliga materialet som vi kan."
Korset är en klass II-listad byggnad från ca 1795.
Mottram sade att de måste hitta en stenhuggare och "några ganska stora klumpar av skinka sten" för att ersätta kolumnen.
"Bakgrunden har demonterats av effekterna och vi kommer att ha en strukturell undersökning om vad som behöver göras för att stabilisera basen", sade han.
"Jag förväntar mig verkligen att det kommer att kosta oss en femsiffrig summa, kör in i sex."
Reparationsarbete till ett Somerset monument förstört i en krasch kommer att stöta på fem siffror, har stadens förtroende sagt.