Foi construída no século XIV em ano incerto. Segundo uma pia e arreigada tradição a Virgem Maria teria aparecido neste local, sobre o seixo quartzítico que se encontra no retábulo. Daí o nome da ermida. Desconhecem-se as circunstâncias dessa manifestação mariana, mas segundo Frei Agostinho de Santa Maria, talvez a virgem «aparecesse a algua pastorinha». Sabemos que em 1395 estava à guarda de um ermitão de nome João Dias - que a teria reconstruído (?) – constando tais informações das Inquirições de D. João I.
É desse período a imagem de Nossa Senhora do Seixo, feita em Pedra-se-Ançã, recolhida hoje na Igreja Paroquial.
Em 1526 neste mesmo templo funcionou o Convento de Nossa Senhora do Seixo, a cargo dos frades capuchos da ordem franciscana, fundação que se ficou a dever a D. Frei Diogo da Silva, natural destas paragens, que tomara o hábito de S. Francisco e fora bispo de Braga e de Ceuta.
Todavia, em 1577, com o aumento do número de frades e dada a degradação física do cenóbio, os frades mudaram-se para o novo edifício conventual, a escasso s metros deste local. Contudo a devoção mariana dos professos levou a que conservassem a pequena ermida do Miradouro – dada a sua posição privilegiada de mirante voltado à estrela – realizando-se a sua festividade a 8 de Setembro, dia da Natividade de Maria.
O templo seria reconstruído pelos frades em 1680 e depois, da extinção das ordens religiosas em 1834, sofreu obras de restauro (1846).
Durante muitos anos, no dia da Natividade, os habitantes da região deslocavam-se à Capela do Miradouro, trazendo cada família o seu farnel .