L'Ellé prend sa source à quelques kilomètres d'ici, près du château de Tregarantec, à une altitude de 225 mètres et coule vers l'océan en suivant une direction générale nord-sud. Coupant au plus court, elle coule perpendiculairement aux plis armoricains, orientés est-ouest.
Long de 60 km, son cours atteint une longueur de 76 km si on lui inclut sa partie maritime appelée « Laïta » en aval de Quimperlé.
Son cours comporte de nombreux rapides, associés aux ruptures de pentes. Les plus spectaculaires sont ceux des Roches du Diables. À cet endroit, la rivière se faufile au milieu d'énormes rochers formant un chaos. Il s'agit de gros blocs de granite qui ont été polis par l'érosion.

De tous temps, l'Ellé a constitué une frontière naturelle entre deux territoires. Pendant l'Antiquité, elle séparait le pays des Osismes à l'ouest du pays des Vénètes à l'est, deux peuples gaulois qui cohabitaient alors dans la péninsule armoricaine. Par la suite, le tracé de la rivière a constitué une limite entre les comtés de Cornouaille et du Bro Waroch ainsi qu'entre les diocèses de Quimper et de Vannes.
C'était aussi avant la francisation survenue au cours du XXe siècle une frontière linguistique entre le breton cornouaillais et le breton vannetais au point que l'intercompréhension était rendue difficile d'une rive à l'autre du cours d'eau. Enfin, de part et d'autre des rives de l'Ellé s'étendent le pays Pourlet et le pays de l'Aven, des pays qui diffèrent notamment par leur traditions vestimentaires.