Borgmästare Stephanie Rawlings-Blake sa att hon skulle ersätta polischefen Anthony Batts med hans vicesheriff Kevin Davis under en övergångsperiod.
Staden skakades av upplopp i april, när en svart man dog efter att ha skadats i polisens förvar.
Sex poliser åtalades för den 25-årige Freddie Grays död.
Vid en presskonferens på onsdag sade borgmästare Rawlings-Blake att Batts hade "tjänat denna stad med åtskillnad" sedan han blev polischef i oktober 2012.
Men med hänvisning till stadens höga mordfrekvens sa hon "för många fortsätter att dö".
"Fokuseringen har varit för mycket på ledningen av institutionen och inte tillräckligt på brottsbekämpning," sade hon till reportrar och tillade: "Vi måste få brottsvågen under kontroll."
Staden har sett en kraftig ökning av våldet sedan Freddie Grays död den 19 april, med 155 mord i år, en 48% ökning under samma period förra året.
På tisdagen meddelade polisen att en utomstående organisation kommer att se över sitt svar på de oroligheter som följde på Mr Grays död.
USA:s rättsväsende håller också på att genomföra en granskning av de medborgerliga rättigheterna i Baltimore-styrkan och Batts har kritiserats av stadens polisförbund.
Tidigare på onsdagen släppte facket sin rapport till polisens hantering av upploppen.
Det sades att officerare hade klagat "att de saknade grundläggande upploppsutrustning, utbildning och, som händelserna visade, ledning från ledarskap".
I rapporten sades också att "officerare upprepade gånger uttryckte oro över att den passiva reaktionen på de civila oroligheterna hade gjort det möjligt för oordningen att växa till fullskaliga upplopp".
Den senaste tidens händelser hade "lagt uppmärksamhet på polisens ledarskap", sa Rawlings-Blake, men förnekade att hennes beslut påverkades av fackrapporten.
Davis, som tar över omedelbart som interimspolischef, berömde sin "vän" Batts och sade att han var en "sann reformkommissionär".
Borgmästare Rawlings-Blake sa att Davis skulle "ta ansvar inför polisen, hålla officerare som agerar utanför linjen ansvariga för sina handlingar".
Baltimores borgmästare har sparkat den amerikanska stadens polischef och sagt att hans ledarskap hade blivit en distraktion från att bekämpa en "brottsvåg".