A razão da sua localização deve-se a uma imagem de nossa senhora que foi recuperada aqui por um camponês em finais do século XIII, depois de perdida desde as invasões muçulmanas.
Foi então construído um mosteiro para albergar a imagem e os monges da ordem de São Jerónimo. Este, construído e modificado ao longo dos séculos apresenta vários estilos arquitectónicos, incluindo o gótico, mudéjar, renascentista, barroco e neoclássico.