Det kommer i en omskakning av brittiska militära byggnader och återställning av regementen.
Brecon och Radnorshire Konservativ MP Chris Davies fördömde stängningen och sade att det hade funnits en barack i Brecon sedan 1805, hem för trupper som kämpade Zulus vid Rorkes Drift.
"Detta beslut är motbjudande och jag kommer att kämpa det varje steg på vägen", sade han.
"Regeringen har en hel del frågor att besvara om varför den föreslår att stänga en älskad och historisk barack i en mycket viktig militärstad.
"Brecon Baracks har tjänat vårt land med åtskillnad över sin långa historia, med soldater från platsen strider i varje konflikt sedan början av 1800-talet.
"Detta beslut visar en uppenbar brist på respekt för den historien."
Chris Davies sade att han framförde en framställning mot beslutet och sade att Brecon-området hade några av de högsta arbetslöshetsnivåerna i Wales.
Han hoppades också att nedläggningen inte skulle skada stadens "hotande" militära turismindustri.
Brecon kasernen har cirka 85 civilanställda och 90 militärer, men man tror inte att arbetstillfällen är i fara.
Chris Davies sade att han förstod den närliggande Sennybridge utbildning marken och infanteri skolan vid Dering Lines inte skulle påverkas.
Försvarets sekreterare Sir Michael Fallon berättade för underhuset i måndags omorganisationen i Wales skulle se ett specialiserat lätt infanteri centrum som skapats i St Athan, Vale av Glamorgan.
Cawdor Baracks, Pembrokeshire - vars stängning tidigare tillkännagavs 2013 - kommer nu att stängas 2024, medan ett lager på Sennybridge kommer att gå 2025.
Shadow Defence Sekreterare Nia Griffith, parlamentsledamot för Llanelli, svarade att ministeriet hade "rätt att omstrukturera sin egendom".
Men hon varnade för att stänga baser skulle påverka försörjningen för många människor som skulle möta "gnagande osäkerhet" över sin framtid.
Försvarsministeriet ska stänga den brittiska arméns walesiska högkvarter i Brecon i Powys 2027.