Istana Osaka
Pada saat itu, Istana Osaka jauh lebih luas dibandingkan dengan Istana Osaka yang ada sekarang. Toyotomi Hideyoshi berkuasa setelah Oda Nobunaga tutup usia dan menjadikan Istana Osaka sebagai pusat pemerintahan. Toyotomi Hideyoshi tidak tinggal di Istana Osaka, melainkan di tempat-tempat kediamannya yang ada di Kyoto: Jurakudai (yang juga disebut Jurakutei) dan Istana Fushimi.
Minamoto no Yoshitomo
Selanjutnya, Yoshitomo bertugas di Kyoto dan menjadi dekat dengan Minamoto no Yoshiyasu (putra dari Yoshikuni). Setelah Yoshitomo dan Yoshiyasu menjadi pengikut Kaisar Toba serta Fujiwara no Tadamichi, Yoshitomo diberi tugas sebagai penguasa Shimotsuke pada tahun 1153. Di Shimotsuke, Yoshitomo kembali menjalin hubungan baik dengan Yoshikuni.