Однак вони були вбиті й не дожили до повноліття Вільгельма. До 1037 року головним союзником Вільгельма був архієпископ Руана Роберт д'Евре, незаконнонароджений син Річарда I, прадіда Вільгельма, однак по смерті Роберта новий архієпископ Можер, незаконний син Річарда II, діда Вільгельма, був противником молодого герцога. Підтримку Вільгельму в ці часи надавала родина матері, однак подробиці цього періоду відомі дуже погано. На щастя для Нормандії її сусіди у цей час переймались міжусобицями й не звертали уваги на події в герцогстві.