La commune s’étend sur 2 339 hectares dans l’aire urbaine et l’unité urbaine d’Orléans. Elle mesure 6,5 kilomètres d’est en ouest et 5,5 kilomètres du nord au sud. Le site d’Olivet doit son originalité à la rivière du Loiret, longue de 13 kilomètres, qui est en fait une résurgence de la Loire. La rivière prend successivement des allures de forêt-galerie, de lac, puis de cours sauvage avant de se jeter dans la Loire à la Pointe de Courpin sur la commune de Saint-Pryvé-Saint-Mesmin.
Certains sentiers de promenade au bord du Loiret permettent de découvrir une espèce rare d’arbre, les taxodiums ou cyprès chauves de Louisiane. Une grande partie du territoire d’Olivet est classée en zone inondable, même si la dernière crue ayant touché la ville date du XIXe siècle.