Castello Bufalini nasce come fortilizio militare della famiglia ghibellina dei Dotti di Sansepolcro. In seguito alla battaglia di Anghiari, nel 1440, il fortilizio militare divenne avamposto militare a difesa del territorio di Città di Castello e venne distrutto sul finire del secolo XV per ordine della Repubblica Fiorentina. Passato di proprietà nel 1487 a Niccolò di Manno Bufalini, vennero intrapresi lavori di ricostruzione su progetto dell'architetto romano Mariano Savelli e su indicazioni di Giovanni e Camillo Vitelli, uomini d'armi ed esperti in architettura militare. Assunse l’aspetto di una fortezza, a pianta quadrata irregolare con quattro torri agli angoli, di cui una di maggiori dimensioni, la torre maestra; un ampio fossato con acqua la circondava. La storia dell'edificio è legata indissolubilmente a quella della famiglia Bufalini, che vantava personaggi affermatisi in ambito ecclesiastico, letterario e giuridico. A partire dagli anni trenta del XVI secolo, la fortezza fu trasformata in residenza nobiliare rispondente a precise esigenze artistiche, sociali e culturali, secondo la volontà di Giulio I e del fratello, l'Abate Ventura Bufalini. Benché sia stato l'interno a subire maggiori modifiche, con la creazione di ampie sale distribuite attorno ad un cortile con due lati porticati, risale a quel periodo l'inserimento in facciata del loggiato e l'ingresso monumentale in posizione centrale. Dall'esterno rimase ben visibile l'originaria struttura militare dell'edificio. Il progetto del palazzo fu opera dell'architetto fiorentino della cerchia dei Sangallo Giovanni di Alesso, detto Nanni Unghero, ma i lavori furono ultimati con l'intervento del Vignola attorno al 1560. Durante l'ultimo decennio del XVII secolo e i primi anni del XVIII, il palazzo fu ristrutturato secondo il progetto dell'architetto-pittore tifernate Giovanni Ventura Borghesi, come amena villa di campagna con giardino all'italiana. L'edificio si arricchì nel XVIII secolo di pregevoli opere d'arte di gusto tardo barocco, tra le quali cicli pittorici e decorativi su affresco e tela, volti anche a celebrare i Bufalini divenuti marchesi. Nel luglio del 1989 Castello Bufalini è stato acquisito dal demanio dello Stato, un raro esempio di dimora storica signorile pressoché integra, che conserva gran parte del suo arredo formatosi dal XVI al XIX secolo con una collezione di dipinti provenienti dal palazzo Bufalini di Città di Castello. Attualmente l’intero complesso è allestito, dipinti, mobilio, tappezzerie, maioliche e vari busti di epoca romana, secondo il gusto della dimora nobiliare. Nel percorso di visita si possono ammirare: la Sala degli Dei Pagani e Sala di Prometeo con affreschi di Cristofano Gherardi; il Loggiato; la Sala della Credenza, con le vetrine che custodiscono i preziosi servizi da tavola in ceramica e la cristalleria; la Sala da Pranzo; il Salotto: la Sala del Trono con tele raffiguranti scene dal Vecchio Testamento e dall'Orlando Furioso dell'Ariosto; la Galleria dei Ritratti; la Sala degli Stucchi; la Camera del Cardinale Giovanni Ottavio Bufalini, con la bellissima culla. Il Giardino è un tipico esempio di giardino all'italiana che si presenta oggi nella forma voluta nel XVIII secolo: spiccano per particolare bellezza il roseto, la galleria vegetale detta voltabotte, il cosiddetto "paradiso" ed il labirinto.