Dal Babu, en chefsintendent fram till 2013, sade att många muslimer inte litar på "Prevent" strategi och många såg det som en form av spioneri.
Förhindra är ett program med flera organ som syftar till att förhindra att människor dras in i terroristrelaterad verksamhet.
Inrikesministeriet försvarade planen och sa att 130.000 personer hade utbildats för att identifiera och förhindra extremism.
Med en årlig budget på 40 miljoner pund är Prevent-programmet en av fyra delar av tävlingen, akronymen som ges till regeringens mångfasetterade strategi mot terrorism.
Inrikesministeriet säger att det nu finns förebyggande program på plats inom alla nyckelsektorer, inklusive kommuner, hälso- och sjukvård, utbildning, fängelser, invandring och välgörenhet.
Men Babu, som gick i pension från Metropolitan Police för två år sedan, sade fall som de av de tre skolflickorna i London som har åkt till Syrien hade fångat myndigheterna ovetande.
Han sade därför att polisens anti-terrorist enheter var huvudsakligen vita, med få muslimska officerare, de inte helt förstå frågor om ras, islam och kön.
Han sade: "Tyvärr, Förhindra har blivit ett giftigt varumärke och de flesta muslimer är misstänksamma mot vad Förhindra gör."
Han berättade för BBC Radio 4's Today-programmet: "När det introducerades var det en bra idé. Det handlar om lokala samhällens engagemang.
"Men genom åren har det blivit mindre och mindre pålitligt.
"Kameror genomfördes, utan att samhället förstod dem, i muslimska områden i Birmingham."
Mr Babu, en högt respekterad person i poliskretsar, hjälpte till att hitta National Association of Muselman Police under en 30-årig karriär där han blev en av de mest ledande asiatiska officerarna i Storbritannien.
Han sade att organisationer som har tagit Prevent-finansiering har en betydande trovärdighetsklyfta inom den muslimska gemenskapen.
– Många offentliga medel ges till organisationer som säger att de kan stoppa extremism, men vi vet inte om de är framgångsrika.
"Du behöver en strategi för att hantera extremism. Men hur mäts den strategin, har den varit framgångsrik?
– Vi ska inte sätta muslimer i en separat låda när vi skyddar unga människor.
"Du måste titta på barntjänster. Det finns också en spektakulär brist på mångfald i hierarkin för barntjänster.
"De är alla vita. Jag känner inte till en enda icke-vit ordförande för en oberoende skyddsnämnd.
"I olika områden som Manchester, Birmingham, Thames Valley, London och Yorkshire måste du se till att du har tjänster som återspeglar samhället."
Sir Peter Fahy, chefskonstapel vid polisen i Manchester, försvarade Prevent-strategin och sade: " Det har i stort sett varit ett mycket framgångsrikt program.
"Om du frågar de muslimska samhällena om de har förtroende för polisarbete, de har ett högre förtroende för polisarbete än den vanliga befolkningen [gör]."
"Det är mycket svårt att mäta framgången med ett program som handlar om förebyggande eftersom framgången här är att inga bomber har exploderat."
Han sade att föräldrar måste ta "prime ansvar" för att stoppa unga människor lockas av Islamiska staten.
Han tillade: " Men det finns ett erkännande av att de muslimska ledarna själva har tillåtit alltför många extremister att ta marken. De är de främsta människorna som behöver hitta en lösning på detta."
Mizahur Rahman, som genomgick ett avradikaliseringsprogram efter att ha avtjänat fängelsestraff för mord, berättade för BBC att Prevent-programmet aldrig skulle fungera eftersom det fanns en atmosfär av rädsla och hot.
Han sade till BBC Radio 5 live på fredag: "Förhindra mentorer, deradikaliserare eller vad du vill kalla dem, kommer att ses som agenter för regeringen, underrättelsesamlare.
"Det finns inget sätt att ha en tillitsfull relation med någon i den positionen.
"Jag kände mig aldrig alls bekväm, trots vad de sa. Jag kände att om jag frågade honom något skulle jag hamna i fängelse."
Inrikesdepartementets talesperson försvarade programmet i ett uttalande: "Denna regering reviderade i grunden Prevent-strategin 2011 för att säkerställa att den utmanar terroristideologin, stöder människor som är sårbara för att dras in i terrorism och arbetar med sektorer och institutioner där det finns risk för radikalisering.
"Vi kommer snart att lägga fram en ny extremistisk strategi som behandlar hela spektrumet av extremism."
En skotsk regerings talesman sade att dess program, som löper genom den skotska enheten för förebyggande av våldsam extremism, tog ett annat förhållningssätt, "baserat på samhällsengagemang och styrkan i förhållandet mellan våra muslimska samhällen och vår polistjänst".
Regeringens anti-terror strategi har blivit "ett giftigt varumärke", en Muselman tidigare högre polis har sagt.