Fondata nel 1454 come parte del Convento dei Frati Minori Osservanti, nel 1828 la chiesetta passò ai Padri Ritiranti di San Filippo Neri, i quali diedero alla località l'attuale nome di Ritiro. Nel 1912 il Convento divenne sede dell’istituto San Giuseppe, tenuto dalle Suore Battistine. Dell'originaria chiesa conventuale restano solo l'atrio e il portale in tufo. L'interno della chiesa si compone di un'unica navata, da una cantoria posta sopra l'ingresso e da un presbiterio coperto da una volta a crociera, al centro del quale è posto l'altare maggiore. Sull'altare è presente una pala marmorea scolpita nel 1533 dal toscano Gian Battista Mazzolo, dove nel vano centrale è posta una Madonna col Bambino, mentre nei vani laterali vi sono le statue di San Francesco e Sant'Antonio.