Desconhece-se se a construção do Castelo data desta época. O que sabemos seguramente é que D. Sesnando Davides, a quem Fernando Magno, após conquista definitiva de Coimbra em 1064, entregou o governo de todo o território a sul do rio Douro, teve em Arouce uma intervenção profunda: povando a região, como ele próprio afirma no seu testamento, e na definição do castelo, pelo menos ao nível de melhoramentos, facto que uma análise cuidada comprova.