Audubon est né aux Cayes, à Haïti, fils illégitime de Jeanne Rabine1, une immigrée française née aux Touches (à 30 km au nord-est de Nantes), et d'un capitaine au long cours protestant et d'origine bretonne, Jean Audubon, qui possédait dans l'île des plantations et des esclaves. Il se passionne très jeune pour l'histoire naturelle. Il est élevé en Bretagne, par sa belle-mère, Anne Moynet Audubon, à Nantes et non loin de là à La Gerbetière, une propriété de Couëron (à 16 km à l'ouest de Nantes), acquise par son père avant la Révolution2.
Il a prétendu avoir reçu des leçons du peintre David mais, comme beaucoup d'autres « histoires » d'Audubon, cette affirmation est infondée.