Sorge a fianco della Cattedrale e in origine era l’antico convento dei camaldolesi. Nel corso dei secoli ha subito notevoli trasformazioni: il chiostro e la loggia sono stati tamponati e la facciata, che guarda su Piazza Torre di Berta, andò distrutta nella seconda guerra mondiale per il crollo della torre.
Il piano superiore è occupato dall’appartamento del Vescovo (interessanti gli arredi degli inizi del XX secolo) e dall’Archivio Vescovile, che conserva una ricca documentazione di pergamene e diplomi a partire dal XII secolo. Nelle ampie soffitte si conserva la Biblioteca del Seminario, ricca di oltre 25.000 volumi.