山縣昌景原名飯富源四郎，乃武田重臣飯富虎昌之弟。一說為永正十二年(1515)出生，一說是享祿三年(1530)出生，相比考證下後者較為可靠，因為起初他是以小姓近習的身份侍奉信玄的，而比主公大六歲的近習是比較少見的。由於身處主公身邊，使得他有很多機會參與軍事、政略方面的謀划。同時期和他一起侍奉主公近習的還有熟知的高坂昌信。後來因功勛被提升為侍大將，領150騎，即使如此，在能臣如雨的家中的地位還並不十分突出。
永祿四年，第四次川中島合戰爆發。但由於信玄長子義信的失誤導致武田軍損失慘重，義信長子的地位也隨之收到威脅，父子關係急轉直下，加上本來的不合而越發矛盾重重，作為義信的老師，飯富虎昌責無旁貸。1565年，處於雙重矛盾下的飯富虎昌捲入了義信謀反的事件里，在這次事件中，恰巧為飯富源四郎查知，一方是自己的兄長，一方是自己的主公，十分矛盾的他最終還是將原委告訴了信玄，因為他想到，背叛兄長的痛苦遠不如被親子背叛，更何況信玄是深受愛戴的主公。由於這次的出首，信玄十分感動，他也不想讓源四郎背負著這個惡名，於是賜姓山縣，讓其繼承這一甲斐名門，從此他也真正邁入了重臣這一行列。此外，由飯富虎昌創立的赤備騎兵，也歸於他所統領，這也成就了他的一世武名。