Fondato nel 1567 da papa Pio V (al secolo Antonio Ghislieri) ad opera dell'architetto Pellegrino Pellegrini detto il Tibaldi. Nato come collegio maschile, dal 1967 accoglie anche le ragazze. L'edificio, a pianta quadrata con cortile interno, presenta una facciata disadorna, con portale marmoreo sormontato dallo stemma dei Ghislieri.