L'architetto Luca Fancelli, nel 1459 su indicazione del marchese Ludovico III Gonzaga, che liberò ambienti di Corte Vecchia per il Concilio indetto da Pio II, ristrutturò il castello che perse definitivamente la sua primitiva funzione militare e difensiva.
