Il Palazzo degli Anziani è sede municipale dal XIII secolo. L'edificio vanta origini antichissime: costruito da Galla Placidia nel 425 d.C. e demolito dai Saraceni nell'839, fu ricostruito nella forma attuale nel 1270 su disegno di Margaritone d'Arezzo in stile romanico-gotico. Il fronte mare, alto sette piani, riflette principalmente le forme datole da Margaritone, con il basamento ad arconi ogivali in pietra bianca del Conero e il resto della struttura in laterizi, con finestre romaniche ad archetti incrociati. Il fronte piazza, alto due piani, conserva reperti architettonici dello stesso architetto ancora visibili, come il doppio ordine di logge ogivali in pietra del Conero, oggi murate, e una serie di pannelli scultorei con scene bibliche. Su un lato del palazzo si possono vedere un orologio a sei ore e due targhe a ricordo della Medaglia d'Oro Emilio Bianchi e della medaglia cittadina come "Benemerita del Risorgimento Nazionale". Durante la Seconda Guerra Mondiale andarono perse le volte del salone e dello scalone, alcune sale e gran parte delle sontuose decorazioni interne e i rivestimenti secenteschi di cuoio veneziano.