Ранні роки Альбрехт V був сином австрійського герцога Альбрехта IV і Йоганни Баварської. Коли після смерті батька в 1404 році він успадкував престол Австрії, Альбрехту було всього сім років. Опіку над малим герцогом оспорювали його дядьки з Леопольдинської лінії династії Габсбургів, поки в 1406 році вони не прийшли до угоди про призначення опікуном Леопольда IV, старшого в роді.