Furono finiti soltanto gli ampliamenti delle due ali simmetriche orientali, ma fu lasciata una facciata incompiuta.
Nel 1730, Vittorio Amedeo II visse qui la sua pazzia: pur avendo abdicato in favore del figlio, non ne volle sapere di lasciar perdere gli affari, e cercò di spodestare Carlo Emanuele III, il quale, di concerto con il suo ministro il marchese Ormea, decise di rinchiudere il padre nella residenza rivolese.
Per l'occasione, l'edificio venne nuovamente modificato: furono aggiunte grate alle finestre e fu chiuso l'accesso alla Manica Lunga.
Nel 1794 poi, furono eseguiti alcuni rimaneggiamenti da parte di Carlo Randoni, per un uso almeno parziale della residenza.