L'abbaye est fondée par la comtesse Lesceline, femme de Guillaume, comte d'Eu, frère du duc de Normandie Richard II. Elle y installe des religieuses bénédictines puis les transfère à Saint-Désir, près de Lisieux en 1046, et installe des moines bénédictins sous la direction d'Ainard, le premier abbé. Lesceline meurt à l'abbaye en 1058. Sa dépouille est enterrée dans l'église abbatiale ; elle s'y trouve toujours.
La première église est consacrée le 1er mai 1067 en présence du nouveau roi d’Angleterre, Guillaume, duc de Normandie, neveu de la comtesse qui avait placé son établissement sous sa haute protection. Elle est brûlée en 1106. Elle est reconstruite, puis quasiment achevée sous l’abbatiat de l’abbé Haimon à la fin de la première moitié du XIIe siècle.
De l’édifice originel d'Haimon, il ne reste que la tour Saint-Michel.
