Le quartier de l’église Saint-Anne appartenait, avant 1852, au territoire de Graville. C’était autrefois des terrains de jardinage ou occupés par des ateliers et baraquements précaires et insalubres.
Un chanoine Robert achète en 1879 à la veuve Holker un terrain pour construire une chapelle, qui soulagerait en partie les églises voisines de Saint-Michel et Sainte-Marie trop éloignées pour l'époque.
En 1884, un architecte, Isidore Delphir Marical, est appelé à dessiner les plans du futur édifice, et propose un édifice ambitieux sur le modèle de l’abbatiale Saint-Georges de Boscherville.mais les fonds viennent à manquer, sans compter que la municipalité havraise d'alors n’était pas favorable à la construction d'une nouvelle église.
En 1889, l'église est achevée (ce qui constitue aujourd'hui la nef). De style néo-roman et en pierre de Lillebonne, cet édifice devient trop petit pour l'affluence constante du quartier qu'elle occupe, il faut donc agrandir. En 1897, on installe les nouvelles cloches dans une remise, car à l'époque il n y avais pas de clocher ; ce sont deux cloches, Émilie-Marguerite-Louise-Pauline-Élise-Marie-Anne qui pèse environ 1 800kg et qui sonne en Do3 coulée en 1888, puis la deuxième cloche Geneviève, qui pèse environ entre 500 et 700kg et qui sonne en Sol3 dièse coulée en 1885.
En 1905, la loi de séparation de l'Église et de l'État entre en vigueur, il faut trouver de l'argent privé et des matériaux peu onéreux; des fonds sont versés par l’abbé Aulnes du Havre qui a la charge du bâtiment : le ciment, le béton, et le silex sont utilisés pour l'agrandissement. Un autre architecte havrais William Cargill dirige les travaux ; entre 1911 et 1913, le transept et le chœur sont bâtis, ainsi qu'une coupole qui mesure 15m de diamètre. En 1920, on décide d’araser la façade occidentale en mur, pour construire la façade actuelle en fausse pierre; le matériau (béton) adhère parfaitement aux pierres de l'édifice antérieur (la nef). Quant au clocher achevé en 1923, c'est une grosse masse de 40m de haut qui abrite une ou deux cloches fondues bien avant la construction de tout l'édifice.
L’église est pavée et les vitraux mis en place, ainsi que les boiseries dans les années 1920, ce qui achève les travaux. À sa mort, en 1935, l’abbé Aulnes est inhumé dans la chapelle des morts située sous le clocher.
Au cours de la Seconde Guerre mondiale, cette église est la seule à avoir été épargnée par les terribles bombardements que connut Le Havre, les autres ayant été soit entièrement rasées, soit partiellement atteintes.
Après la guerre, l'église, pratiquement laissée à l'abandon, n'est pas restaurée; aujourd'hui une restauration est envisageable, car l'édifice est protégé pour avoir été agrandi par William Cargill.