Företaget, som har varit närvarande i staden i mer än 30 år, säger att det följer på en omstruktureringsöversyn.
Kontoret kommer att stänga senare i år men en ny "kommersiell handelsplats" kommer att öppnas i staden i september. Personal kommer att erbjudas omplacering runt om i Storbritannien, sade en talesman.
Union Unite kallade det ett "stort slag" för finanssektorn i Birmingham.
Regional sekreterare, Gerard Coyne, sade: " [Royal Sun Alliance] har gjort oss medvetna om sin avsikt att stänga Birminghams kontor.
Uppdateringar om detta och mer från Birmingham och Black Country
"Vi kommer nu att inleda diskussioner med dem och försöka få dem att se över sitt beslut i Birmingham eftersom det är ett stort slag mot våra medlemmar och finans- och försäkringssektorn i staden."
Royal Sun Alliance berättade för personalen på onsdag att 190 jobb var i riskzonen för uppsägning men var "förpliktigad" att stanna i staden. Den har varit på sin nuvarande plats i Colmore Row i 20 år.
En talesman sade byråns granskning visade att det kunde fungera mer effektivt "om team som gör samma typ av arbete, eller fokuserad på samma typer av kunder, ligger tillsammans".
"Tyvärr kommer ett antal av våra medarbetare att påverkas av dessa förändringar och vi kommer att ha ett nära samarbete med dem under de närmaste månaderna och kommer att se till att omplacera vårt folk där det är möjligt."
En av Storbritanniens största försäkringsbolag Royal Sun Alliance är att stänga sitt Birmingham kontor, vilket sätter 190 arbetstillfällen i riskzonen.