Kraliçe Victoria ayrıldıktan sonra Buckingham Sarayı uzun yıllar boyunca nadiren kullanıldı ve hatta ihmal edildi. İlerleyen yıllarda, kamuoyu ve diğer etkenlerin etkisiyle Kraliçe'nin Londra'ya dönmesi sağlandı. Ancak Kraliçe Victoria, mümkün olduğunda başka bir yerde yaşamayı tercih etti ve mahkeme işlevleri hala Windsor Kalesi'nde yapıldı. Buckingham Sarayı genellikle kepenkli kaldı ve yılın çoğu zamanında kullanılmadı.
1861'de dul kalan kraliçe, kamu hayatından çekildi ve Windsor Kalesi, Balmoral Kalesi ve Osborne House'da yaşamak için Buckingham Sarayı'ndan ayrıldı. Uzun yıllar boyunca saray nadiren kullanıldı, hatta ihmal edildi. 1864'te Buckingham Sarayı'nın çitlerine tutturulmuş bir not bulundu: “Bu komuta binaları geç kalan işinin sonucu olarak, izin verilecek veya satılacak.” Sonunda, kamuoyu Kraliçe'yi Londra'ya dönmeye zorladı, ancak o zaman bile mümkün olduğunda başka bir yerde yaşamayı tercih etti. Mahkeme işlevleri hala Windsor Kalesi'nde yapıldı, alışılmış siyah yas giymiş kasvetli Kraliçe tarafından başkanlık, Buckingham Sarayı yılın çoğu için kepenkli kaldı.
Kraliçe Victoria gittikten sonra Buckingham'a ne oldu?