Este templo foi erguido por iniciativa do padre Virgínio Lopes Tavares, quando pároco da freguesia de São Pedro. A autorização para a sua construção foi requerida a 11 de junho de 1924 e, a 18 de outubro de 1925, procedeu-se à bênção da primeira pedra, ato solene presidido pelo Ouvidor eclesiástico, padre Mariano do Nascimento Moura.^[1]
Em março de 1928 foi requerida a visita canónica, a qual decorreu no mês seguinte. A 1 de maio desse mesmo ano, a imagem da padroeira foi benzida na Matriz de Vila do Porto, sendo conduzida, em procissão, para a Igreja de São Pedro, de onde só saiu a 17 do mesmo mês devido ao mau tempo que se fazia sentir à época. Nesse dia 17, a ermida foi consagrada.
Em 13 de julho do mesmo ano, foi estudada a sugestão de António Lopes Tavares para a construção de uma escadaria que aludisse ao Santo Rosário, com 150 degraus representando cada um uma das contas do Rosário (uma "Ave Maria") com dez patamares, representando cada um dos Mistérios do Terço (um "Pai Nosso"). Aprovada a sugestão, abriu-se uma subscrição pública, para a qual concorreram 150 subscritores, cada um respondendo pelo custo de um dos degraus. O projeto foi de Álvaro Fernandes Serpa. A 13 de outubro de 1929, colocava-se a primeira pedra, sendo a obra inaugurada a 11 de julho de 1933, quando do seu alto, foi concedida, pelo então Bispo de Angra, D. Guilherme Augusto Inácio de Cunha Guimarães, a Bênção Eucarística.^[1]
Em 1942 foi colocada na ermida uma lápide comemorativa do 25° aniversário das Aparições de Fátima (13 de maio de 1917).
Em 2007-2008 foi restaurada, assim como a imagem da Senhora, com recursos da comunidade.
O dia da padroeira é comemorado, anualmente, a 13 de maio.