Den första kyrkan var troligen en enkel träkyrka som uppfördes i 1100-talets början. Denna ersattes successivt under 1200-talet av en romansk stenkyrka. I dess första skede byggdes nuvarande kyrkans kor i öster. I nästa revs den äldre kyrkans långhus och ersattes av ett nytt, rektangulärt långhus i sten. Slutligen i tredje skedet uppfördes ett torn i väster. Enligt en ritning av Petrus Frigelius från 1747 hade det dåvarande tornet två spiror.
Kyrkan har genomgått flera ombyggnader och renoveringar under årens lopp. Spirorna revs 1770–1772 och tornkammaren införlivades med långhuset. Under 1820-talet genomfördes en större ombyggnad. Kyrkan restaurerades 1971–72, då arkeologiska undersökningar ägde rum. Den nuvarande kyrkan består av ett långhus med kor och inbyggd absid, samt ett brett vapenhus i väster som tidigare varit tornbyggnadens nedre del. Sakristian från 1300-talet är belägen på norra sidan i anslutning till koret.
År 1973 påträffades ett runstensfragment av öländsk kalksten i Arby kyrka. Runstenen som är från 1000-talets andra hälft låter berätta att kristendomen redan vid den tiden nått bygden.
Interiören präglas delvis av de ombyggnader som har skett vid olika tidsepoker. Över kyrkorummet välver sig ett tunnvalvstak. Koret avskiljes genom en triumfbåge, liksom den inbyggda absiden där altaret har sin plats. Dopfunten är från 1200-talets senare del liksom ett krucifix från en sydskandinavisk verkstad. Altaruppsatsen är från 1770 och utförd av Jonas Berggren.
Kyrkklockorna är upphängda i en öppen klockstapel av klockbockstyp med hjälmformad huv försedd med en mindre spira.
Utanför kyrkmuren finns de gamla kyrkstallarna kvar.