Il Collegio Cairoli venne fondato nel 1781 da Giuseppe II d'Austria, e inaugurato nel 1783 come Collegio Germanico Ungarico per gli studenti in teologia. Chiuso nel 1796 durante l'occupazione francese della città, venne successivamente trasformato in caserma militare fino al 1947, quando venne ceduto all'Università di Pavia. Nel 1948 riaprì col nome di Collegio Fratelli Cairoli.