Un tempo dedicata a S. Erasmo, la chiesa del Carmine fu chiesa Matrice di Santeramo fino al 1741 quando fu costruita la nuova chiesa Matrice in Piazza Garibaldi. Era dotata di un campanile risalente al XIV sec., poi distrutto, con due bifore all'ultimo piano e copertura a piramide. Nel 1526, come ringraziamento dei santermani per essere stati salvati da un'epidmia di peste che imperversava nel 1522 nella provincia di Bari, fu costruita una cappella dedicata alla Madonna di Costantinopoli di forma quadrangolare e di piccole dimensioni. Sulle pareti si notano tracce di affreschi risalenti al XVI sec., sulla volta sono raffigurati i quattro evangelisti, mentre sull'arco inferiore di fronte all'ingresso, l'Annunciazione. Attualmente la chiesa viene amministrata dalla Confraternita del Carmine fondata nel 1781.