L’importante edificio occupa un posto di rilievo nell’antica Platea publica, oggi Piazza della Cattedrale, perché fu eretto su un’area della Curia vescovile dall’arciprete Girolamo de Lerma (1648-1678), unificando costruzioni preesistenti. La facciata fa da quinta teatrale al sagrato della Cattedrale, alla cui mole è collegata dalla snella loggetta fatta costruire dal vescovo Fabrizio Carafa nel 1627, come mostrano due stadere incise sulla pietra, emblemi della sua famiglia. 

Un ingresso secondario al Palazzo si apriva nel prospetto su via Speranza, ma fu murato nel Settecento, mentre gli altri lati dell’edificio quadrangolare confinano con il complesso dell’ex ospedale di San Nicola e con il Palazzo della Regia Corte. 

L’immagine dell’edificio è resa austera dal paramento a bugnato rustico, disposto in corsi regolari. Il maestoso portale di gusto tardo-rinascimentale è affiancato da lesene bugnate, come il fornice, sormontato da un fregio a metope e triglifi. La sua posizione decentrata, è dovuta alla presenza degli edifici limitrofi. 

Infatti attualmente la facciata presenta un arretramento verso l’angolo con Via Speranza e sulla muratura si scorge chiaramente il profilo degli spioventi di un edificio: era la chiesa di S. Maria della Misericordia che, al tempo della costruzione del palazzo, avanzava di circa una decina di metri nello spazio della piazza. Costruita entro il 1586,  fu abbattuta nel 1905 ed il portale, addossato alla torre del Palazzo de Lerma, mostra ancora nel timpano un rilievo raffigurante la Pietà, con la Madonna che tiene in grembo il corpo del Figlio morto, ed una lunga iscrizione che invoca la mediazione della Madonna per ottenere la pioggia, contro la siccità che affliggeva la popolazione. 

La facciata del Palazzo è divisa in due livelli da una sottile cornice marcapiano, interrotta dalle finestre ampliate nel Settecento. Piccoli balconi elegantemente sagomati, si aprono davanti a due file di finestre con timpani curvilinei, al primo livello e a pagoda, nel secondo. Un cornicione orizzontale corona l’edificio in alto, ornato di pinnacoli. 

Il portale secondario, oggi tompagnato, è affiancato da semicolonne bugnate e sormontato da una trabeazione di tradizione classica, con fregio a metope e triglifi. Le finestre architravate che si aprono sopra la cornice marcapiano, sono quelle originali. Tramite un androne coperto da volte a crociera si accede al cortile interno, solenne nei rapporti spaziali del portico, dei vestiboli e della scala di accesso ai piani superiori. 

Purtroppo il grave stato di dissesto statico delle fabbriche, dovuto alle sopraelevazioni ed alle modifiche intervenute nel tempo, ha profondamente alterato l’aspetto del cortile. Una scala a due rampe, coperta a botte, conduce al primo piano ed una più piccola conduce al secondo piano, probabile sopraelevazione settecentesca, dovuta all’architetto Vito Valentino.

Notizie della famiglia:

Un ramo cadetto dell’illustre famiglia de Lerma, che faceva parte dei Grandi di Spagna, si stabilì a Bitonto agli inizi del Cinquecento al tempo del Vice regno spagnolo, insieme ai Sylos originari di Burgos ed agli Albuquerque, provenienti dal Portogallo. Duchi di Castelmezzano, i de Lerma ricoprirono ruoli di rilievo nella vita civile e religiosa della città, all’interno del capitolo Cattedrale.

 Un de Lerma divenne arcivescovo di Manfredonia ed un altro esponente della famiglia ricevette il titolo prelatizio di Altamura. Nel 1648 era arciprete della Cattedrale di don Girolamo, che acquisì l’area attigua alla chiesa bitontina, costituita da un tratto di strada sdemanializzato che congiungeva il sagrato della piazza con le case dei Giannone, edifici adibiti a magazzini e alloggiamenti dei soldati della Regia Corte. Su tale area i de Lerma costruirono il loro sontuoso palazzo che probabilmente fu realizzato in due tempi. Contemporaneamente venne costruita la dimora extraurbana, il centro agricolo aziendale di Torre de Lerma, in contrada Cilinno tra Palombaio e Mariotto, che ancora si ammira. Tuttavia alla fine del sec. XVIII la famiglia si estinse e nel secolo successivo il palazzo passò a diversi proprietari, diventando fabbricato condominiale. Seguirono perciò rifacimenti superfetazioni, adattamenti vari.

Sul grande arco che immette allo scalone per i piani superiori vi è lo stemma della famiglia, sostenuto dalla figura di un angelo.