У 1837 році батька Б'єрнсона, що був пастором у Квікне, перевели до приходу Нессет, недалеко від міста Молде у губернії Ромсдал. Саме в цьому мальовничому районі Б'єрнсон провів своє дитинство. Після кількох років навчання в Молде 17-річний Б'єрнсон був відправлений до латинської школи Хельтберга у Християнії (Осло) для підготовки до університету. У цій школі навчалися Генрік Ібсен, Юнас Лі та Осмунд Улофсен Віньє.