Il Castello, al centro dell'antico borgo medievale, risale al XII secolo. L'edificio è a pianta irregolare, articolata attorno a una corte centrale. Abitato da vari feudatari di Altomonte che si succedettero nei secoli (Guasto, Pallotta, Sangineto, Ruffo e Sanseverino), l’antico maniero ebbe il titolo di castrum nel 1342, da parte di Clemente VI. Caratteristica è la facciata con loggiato panoramico che volge a valle in direzione del massiccio del Pollino e dei paesi italo-albanesi. Belle le parti superstiti delle capriate a vista, affrescate con scene mitologiche, databili alla fine del XVI secolo. Attualmente è sede di una struttura alberghiera.