Il Palazzo, in stile Barocco, venne edificato su iniziativa di Giuseppe Antinori, su progetto dell'architetto Francesco Bianchi, per divenire dimora della nobile famiglia. La facciata, caratterizzata da blocchi di grandi finestre, cornicioni in mattoni e pilastri, venne realizzata da Pietro Carattoli tra il 1748 e il 1758. Nel 1875, il Palazzo venne acquistato da Romeo Gallenga Stuart e assunse l'attuale nome. Nel 1926, il Conte cedette la proprietà al Comune e, dal 1927, il Palazzo divenne sede dell'Università per Stranieri di Perugia. Di notevole pregio architettonico sono il vestibolo e lo scalone d'ingresso. All'interno, l'Aula Magna progettata dall'architetto Dino Lilli, che conserva il ciclo di affreschi "L'Apoteosi di Roma", realizzato negli anni '30 dal pittore futurista Gerardo Dottori.