У 40-х роках XVI століття замок був перебудований і укріплений за проєктом місцевого зодчого Семена Бабинського. Товсті стіни були оточені оборонним ровом, заповненим водою. Після Люблінської унії 1569 року Житомир увійшов до складу Речі Посполитої. В 1594–1596 роках спалахнуло народне повстання під керівництвом Северина Наливайка і Григорія Лободи, житомиряни хоробро боролися в селянсько-козацьких загонах.