Il fondatore del museo Sigurður Hjartarson ha lavorato come professore e preside per 37 anni, insegnando storia e spagnolo al Hamrahlid College Reykjavík prima di pensionarsi. Curioso notare che già da bambino possedeva il pene di un toro, che utilizzava come frusta per il bestiame. Inaugurò la sua collezione quando un conoscente, sentita la storia del pene del toro, gliene regalò altri quattro nel 1974; di questi, Sigurður ne regalerà tre ai suoi amici. Anche i lavoratori alle baleniere, giunti a conoscenza dell'insolita passione del ragazzo, cominciarono a donargli peni di balene; è in questo momento che la sua raccolta si espanse, grazie alle varie donazioni provenienti dalle regioni più disparate dell'Islanda.