E’ il più imponente edificio della città, dal 1928 sede del Comune. Prima che venisse costruito, il sito era occupato dal castello eretto nel 1388 da Raimondo Orsini, conte di Lecce e signore di Martina, poi principe di Taranto dal 1399 al 1406. Di questa struttura feudale si conosce molto poco; già fatiscente nella prima metà del Seicento, venne abbattuto da Petracone V Caracciolo, duca di Martina (1655-1704), il quale fece fabbricare a partire dal 1668 un sontuoso palazzo per residenza della sua famiglia. Così è descritto nell’anonima Platea o inventario dei beni di Casa Caracciolo, compilata nel 1728:
E più possiede il grande e nobile Palazzo ducale vicino la Porta di Santo Stefano…disegno del quondam cavaliere don Giovanni Andrea Carducci bergamasco approvato dal cavalier Bernini, e benché non ridotto a perfezzione, pure dal sito, e prospettiva si conosce la magnificenza, contenendo in se’ il disegno della prospettiva e del muro a tramontana tre quarti, cioé l’inferiori per abitazione, d’està, li mezanili per commodo della fameglia, ed i quarti nobili superiori, con loggie in faccia alla prospettiva nobilmente disposte con lavori di ferro, e con fiorami dell’istessa materia nelle loggie degli angoli. Vi sono nell’istesso palazzo stalle magnifiche, teatro, gallerie, magazeni…
Il nuovo castello, però, a causa degli alti costi della fabbrica rimase incompiuto, nonostante il duca Francesco III (1771-1794) avesse aggiunto nel 1773 il piano nobile sul lato meridionale. Dopo l’abolizione del feudalesimo (1806), l’edificio cessò di essere il luogo del potere del ducato di Martina; estinta poi la dinastia dei Caracciolo, la proprietà passò alla famiglia de Sangro che, avendo altrove la residenza, cominciò a frazionare la gestione del grande edificio, cedendo in fitto a privati parti di esso e alienandone altre.
Solo nel corso del Novecento il Comune ha potuto acquistare in momenti diversi quasi tutti i vari locali e gli appartamenti per farne il Palazzo di Città; negli anni Sessanta del XX secolo, infine, procedette a completare le due ali mancanti, cioè quelle di settentrione e di levante, con esito architettonico discutibile a causa dei materiali edilizi impiegati. Recentemente ha provveduto a restaurare le due facciate storiche restituendo l’aspetto originario seicentesco soprattutto alla fronte anteriore con l’ingresso principale.