Il Palazzo Vescovile, già presente nel Medioevo, fu ristrutturato per la prima volta ad opera del Vescovo Cesare Ventimiglia (1615-1645). Di questo intervento rimangono, ad oggi, i resti della fase carolingia e notevoli strutture della fase romanico-gotica.
La seconda ristrutturazione avvenne a partire dal 1786 sotto Pio VI, che realizzò anche un collegamento con Palazzo Braschi.
Gran parte dell’aspetto odierno è dovuto alle ristrutturazioni successive ai bombardamenti della Seconda Guerra Mondiale. Di particolare rilievo è il portale d’ingresso, unico elemento rimasto che qualifica in senso neoclassico la facciata del palazzo.