Sēļu pagastā atrodas trīs bijušo muižu zemes – Idus, Pantenes un Sēļu. Idus un Pantenes muižas dibinātas jau ordeņa laikā, Sēļu muiža – Poļu laikā (pēc 1561. gada).
Sēļu muiža savu vārdu dabūjusi no Sēlpils kunga Kaspara Ziborga von Vislingena, kas to dabūja kā dāvanu no karaļa Augusta Sigismunda. Idus muiža senāk piederējusi Rūjienas pilsnovadam.