Il Castello, simbolo per eccezione della città, sorge sullo specchio d'acqua del golfo di Rapallo, sul lungomare Vittorio Veneto. I lavori per la sua costruzione, interrotti talvolta da scioperi spontanei dei lavoratori, si conclusero sotto il Podestà Benedetto Fieschi Raggio nel 1551. All'interno è presente anche una piccola cappella dedicata a San Gaetano, costruita nel 1688, con la caratteristica cupoletta con campana ben visibile all'esterno. Nella sua storia il Castello è stato sede di importanti organi statali fino al secolo scorso, quando è stato dichiarato "Monumento Nazionale" e ceduto al Comune. Una locale tradizione, inserita tra gli eventi più celebri durante le festività patronali in onore di Nostra Signora di Montallegro, nei primi tre giorni di luglio, vede il Castello cinquecentesco protagonista di un curioso spettacolo pirotecnico.