Styrelseledamöterna tros ha velat ha större kostnadssänkningar och mer fokus på investmentbankens resultat.
Ordförande John McFarlane sade att banken behövde bli effektivare: " Det vi behöver är vinstförbättring. Barclays är inte effektiv. Vi är besvärliga."
I ett uttalande, Barclays sade en "ny uppsättning färdigheter" krävdes på toppen.
Jenkins har varit Barclays verkställande direktör sedan 2012. Banken sa att ett sökande efter hans efterträdare var på gång.
Barclays ordförande John McFarlane har utsetts till verkställande ordförande tills en ny verkställande direktör har utsetts.
I en telefonkonferens sade McFarlane att styrelsen hade beslutat vilken firma som behövs för att ändra sin strategi för att öka intäktstillväxten.
Barclays måste vara "bästa och smidigare" för att förbättra företagets resultat, sade han.
Investerare välkomnade nyheten om förändringen och skickade aktier i Barclays upp mer än 2 % i London.
McFarlane applåderade Jenkins roll när det gäller att styra Barclays genom efterdyningarna av finanskrisen och genom konsekvenserna av Barclays omskakning av förvaltningen för tre år sedan.
Men han sade också: "Det råder inget tvivel om att det fanns ett trängande behov av kulturell förändring."
McFarlane berättade för BBC:s affärsredaktör Kamal Ahmed att Jenkins kompetensuppsättning hade varit lämplig när han tog överhanden, men att företagets behov hade förändrats.
När BBC frågade honom om framtida nedskärningar, uteslöt han dem inte.
Inte heller uteslöt han möjligheten att stänga av filialer.
"Det är oundvikligt att bankerna kommer att ha färre filialer än de har nu", sade McFarlane.
Han berättade också för BBC att Barclays inte skulle förnya sin sponsring av Premier League när den löper ut senare i år.
Gör inga misstag, Antony Jenkins, chef för Barclays, har fått sparken efter att ha ramlat ut med styrelsen över storleken på investmentbanken och takten i kostnadsminskningar.
Jenkins, som blev verkställande direktör 2012, fick under de senaste dagarna veta att styrelsen inte längre hade förtroende för att han var rätt man att leda organisationen.
Högre källor har berättat för mig att Sir Mike Rake, vice ordförande i Barclays, kontaktade den nya ordföranden, John McFarlane, för att säga att ett antal styrelsemedlemmar var missnöjda med snabba förändringar på banken.
De ville att kostnadssänkningarna skulle gå längre och mer uppmärksamhet skulle ägnas åt den investeringsbank som betraktas som underpresterande.
Man tror att Sir Mike vill att Barclays ska behålla sin globala närvaro som en stor investmentbank medan Jenkins ansåg att den borde skäras ned.
Det har gjorts klart för mig att Mr Jenkins ansågs ha gjort ett bra jobb med att stabilisera banken efter att den tidigare verkställande direktören, Bob Diamond, avgick.
Men det är nu dags för en ny person på toppen.
Samtidigt som sökandet fortsätter kommer McFarlane att bli ordförande och verkställande direktör, en roll som liknar den han innehade på försäkringsjätten Aviva.
I Barclays uttalande sade McFarlane att banken behövde öka avkastningen till aktieägarna. "Vi behöver därför förbättra intäkter, kostnader och kapital."
Styrelsen sade att den erkände Jenkins bidrag under de senaste tre åren och var "mycket tacksam mot honom för att han fört företaget till en mycket starkare position".
Men banken sade att dess icke verkställande direktörer hade "avslutat att nytt ledarskap krävs för att påskynda verkställandet framåt".
Mr Jenkins tog över på Barclays sommaren 2012 efter Bob Diamonds avgång, som lämnade efter Liborskandalen.
Banken sade att Jenkins hade ärvt en situation som "skulle ha utmanat alla som står inför samma problem".
Jenkins sade att när han tillträdde som gruppchef 2012 var det en "särskilt svår tid för Barclays".
"Det är lätt att glömma bort hur dåliga saker var för tre år sedan både för vår industri och ännu mer för oss.  Jag är mycket stolt över de betydande framsteg vi har gjort sedan dess, sade han.
Antony Jenkins, chef för Barclays, har fått sparken efter att ha gått samman med styrelsen över bankens kostnadssänkningar och lönsamhet.