Le caroubier est un arbre mesurant de cinq à sept mètres de hauteur.
Le tronc est gros et tordu, l'écorce brune et rugueuse. La frondaison abondamment fournie forme un houppier large. Sa longévité peut atteindre 500 ans.
Les fruits, appelées « caroubes », sont des gousses pendantes de dix à trente centimètres de long sur un et demi à trois centimètres de largeur, d'abord vertes, elles deviennent brun foncé à maturité, en juillet de l'année suivante. Elles sont coriaces, épaisses et indéhiscentes.
Fruits murs de caroubier (Ceratonia siliqua) pendants sur l'arbre
Les graines de caroube sont brunes.
La taille et le poids de ces graines étant très réguliers soit 0.20 gramme, elles ont servi d'unité de mesure dans l'antiquité. Leur nom est à l'origine du carat (emprunté à l'arabe "qirât"), qui représentait le poids d'une graine de caroube, dans le commerce des pierres précieuses.
