Stando a una fonte storica già nel 1497 esisteva ad est una dimora gentilizia appartenuta al marchese Gerolamo Pallavicino, fuori dalle mura cittadine e nell’area del Viridarium (nome che riecheggia nell’attuale Via Vivaio). I passaggi di proprietà conducono i marchesi Isimbardi ad acquistare il palazzo, rendendolo nel tempo consono ai gusti artistici in voga, con il rifacimento della facciata, disegnata dall’architetto Tazzini, la rifunzionalizzazione degli interni, la realizzazione d’affreschi e stucchi. Nel 1918 cambia ancora di proprietà e negli anni Trenta è acquistato dalla Provincia di Milano che ne fa propria sede, in Via Monforte, oggi divenuto Corso. Si decide di restaurare il palazzo e costruire una nuova ala, su Via Viavaio: «L’opera più imponente fu affidata a Giovanni Muzio, il più prestigioso e fecondo architetto del Novecento Milanese. Egli giustappose all’antica costruzione un nuovo edificio di coerente stile funzionalista, dotato degli elementi simbolici che un luogo del pubblico potere richiedeva, quali la torre, i portali colonnati, i pannelli scultorei» (Tartari C.M., Palazzo Isimbardi, Provincia di Milano, Milano 2004, s.p.).
Nel corso della guerra la frequentazione del vecchio palazzo, sede della Provincia di Milano, da parte del pubblico, richiede la realizzazione di capaci rifugi antiaerei. Saranno quindi rinforzati alcuni locali sotterranei, fino a realizzare due distinti rifugi. Essi andavano così a sommarsi ai due rifugi antiaerei di via Vivaio e al piano superiore del Bunker della Prefettura. Ecco il testo integrale dalla circolare dell’Ufficio Tecnico della Provincia di Milano, datata 21 novembre 1942, indirizzata al Preside [ovvero al Presidente della Provincia di Milano. N.d.A.]: «Oggetto: Protezione antiaerea. Proposta disposizioni relative all’afflusso ai ricoveri a.a. nuova sede provinciale e palazzo di residenza. – Giusta gli accordi intervenuti fra questo Ufficio e la Segreteria Generale e a seguito delle disposizioni date in proposito dal V. Preside si è provveduto all’ampliamento del ricovero antiaereo in corrispondenza della nuova sede provinciale, rendendo così possibile di destinare una parte – e precisamente quella sottostante al corpo monumentale – ai funzionari della Provincia e al pubblico che eventualmente si trovasse negli Uffici provinciali, e l’altra al pubblico che di giorno cercasse rifugio negli stabili dell’Amministrazione. Per raggiungere all’atto pratico un sicuro risultato della distribuzione indicata è necessario che vengano impartite precise disposizioni al personale dipendente che verranno integrate da cartelli indicativi. Al riguardo si propone: durante il giorno: 1° – Che al segnale d’allarme il portiere dello stabile di Via Monforte 35 indirizzi il pubblico al rifugio sottostante il Corpo nord dello stabile stesso (facente parte del carbonile) con accesso dal cortiletto attiguo allo scalone, e ciò fino alla capienza massima del rifugio medesimo la quale da un minimo odierno di N. 30 persone verrà gradualmente portato (con lo sgombero in corso del carbone) a N. 100 persone. 2° – Che al segnale d’allarme il portiere dello stabile di Via Vivaio n. 1, chiuda i cancelli dell’ingresso principale e avvii il pubblico che eventualmente cercasse rifugio all’accesso di Via Vivaio n. 3 e quindi chiuda anche la porta che dal vano dello scalone immette nel giardino. 3° – Che al segnale d’allarme uno dei fattorini dell’Ufficio Provveditorato Provinciale, all’uopo designato, provveda alla chiusura del cancello provvisorio dell’androne d’ingresso che da Via Vivaio 3 conduce al giardino e avvii il pubblico che si presentasse, al rifugio sottostante l’androne stesso fino alla capienza corrispondente a N. 80 persone; lo stesso fattorino od altro dovrà provvedere anche alla chiusura della porta di accesso al corridoio degli Uffici del Provveditorato dalla parte del detto androne. 4° – Che siano avvertiti i funzionari che essi debbono raggiungere la parte di rifugio assegnata a ciascun Ufficio allo scopo di evitare affollamenti parziali e intralci al passaggio. 5° – Che siano collocati, in numero adeguato, opportuni cartelli indicatori. – Durante la notte: 6° – Che sia lasciato disponibile per il pubblico il solo rifugio del Palazzo di Via Monforte 35 da vigilarsi dal portiere dello stabile stesso eventualmente coadiuvato dal personale della squadra di primo intervento. Firmato l’Ingegnere Capo [firma illeggibile. N.d.A.]» (Archivio della Provincia di Milano, Anno 1942, fasc. 2444).