Progettato dall'architetto Evangelista Menga per volontà di Alfonso Castriota, fu completato nel 1540 inglobando il mastio angioino.
Una delle più grandi fortezze pugliesi, ha impianto quadrangolare ai cui vertici si innestano quattro baluardi a lancia. Nel cortile interno corrono enormi gallerie di collegamento ai bastioni; sulla sinistra il palazzo porticato Pinelli-Pignatelli.
Prezioso il portale di gusto catalano - durazzesco; la Cappella di S. Marco, interamente affrescata dal pittore manierista Gianserio Strafella e, all'interno degli ambienti residenziali cinquecenteschi, i resti della cappella, con affreschi del quattrocento, rinvenuta durante i lavori di restauro.