Мати, Пауліна (уродж. Кох, 1858—1920), походила з сім'ї забезпеченого торговця кукурудзою Юліуса Дерцбахера (у 1842 році змінив прізвище на Кох) і Єтти Бернгаймер. У Ейнштейна була молодша сестра Марія (Мая, 1881—1951). Будинок, в якому народився Альберт, був зруйнований під час бомбардувань 1944 року і не був відновлений. Збереглася міська реєстраційна книга, в якій записано: «До чиновника міського реєстраційного бюро, що підписався нижче, сьогодні з'явився знайомий йому в обличчя комерсант Герман Ейнштейн, юдейського віросповідання, що проживає в Ульмі на Бронгофштрассе, 135».