Lördagens antifascistiska marsch i Brighton hölls samma dag som en stor Skinhead Reunion också ägde rum vid havet.
Protesten organiserades inledningsvis för att motsätta sig en anti-invandringsmarsch som inte förverkligades.
Polisen grep 14 antifascister efter en attack mot tre skalliga män.
Ch Supt Nev Kemp sa att vissa antifascister var "engagerade om våld".
Han sade att den planerade protesten mot invandring inte ägde rum eftersom demonstranterna gick till en händelse i Bristol i stället.
"Min förståelse är att de flesta demonstranter som sa att de skulle komma till Brighton faktiskt gick upp till Bristol, så de inte dök upp", sade han.
Men han sade att den antifascistiska motprotesten gick vidare och tillade: "Det fanns ett betydande antal som deltog som var inställda på våld och kriminalitet."
De 14 antifascistiska kampanjdeltagarna, som greps på grund av misstanke om våldsam störning, hölls kvar efter det att maskerade demonstranter hade setts angripa tre skalliga män, sade han.
Sussexpolisen sade att 10 män och fyra kvinnor - de flesta från Brighton, men två av ingen fast adress - hade blivit utlösta till datum i juli i väntan på ytterligare undersökningar.
Kemp sade: "Det fanns ett antal personer i protesten som visade att de faktiskt var - ironiskt nog, med tanke på att protesten handlar om tolerans - några av de mest intoleranta människor man kunde stöta på.
"De var fast beslutna att orsaka skada och attackera vem som helst med skalligt huvud som såg ut att vara från höger."
Siriol Hugh-Jones, som deltog i protesten, sade: "Där jag var fanns det mycket lite tecken på våld."
Hon tillade: " Det var mycket mer en karnevalstämning.
"Vi försökte vara trevliga och fluffiga och visa hur tolerant Brighton och Hove är och vilket liberalt samhälle det är och fira det."
Hon sa att hon marscherade bakom några maskerade män men inte visste vilka de var.
En polischef har anklagat antifascistiska demonstranter för att dyka upp på en demo som är beredd att attackera "alla skalliga män som ser ut att vara högerhänta".