Nel duecento la famiglia Pisani aveva le sue case in parrocchia di S.Simeone, dove si venerano le reliquie di S.Ermolao. Da qui la venerazione dei Pisani per questo santo, e la decisione di imporre il suo nome - Almorò in dialetto veneto - ai rampolli maschi. Ricchi fin dal trecento per la mercatura e per le proprietà immobiliari, i Pisani ebbero ben presto case e palazzi in vari luoghi di Venezia.

Con l'andar del tempo, parte della famiglia andò ad abitare a S.Samuele, altri a S.Tomà (i Pisani Moretta) altri ancora a S.Maria del Giglio (i Pisani "dal Banco") da cui vennero i due cardinali Francesco (1517) ed Alvise (1565). Verso la fine del '500, un Alvise, figlio di Marcantonio, si staccò dal ramo di S.Maria del Giglio e fece costruire a S.Vidal il suo palazzo sull'area di una casa ereditata e di altre appositamente comprate. Il palazzo fu costruito nel primo ventennio del '600, ma Alvise non potè fare in tempo a goderne, essendo morto pazzo nel 1622.

Tra i suoi discendenti, non pochi si distinsero nella vita politica della Repubblica, ed ottennero cospicui onori. Un nipote del fondatore del palazzo, anche lui di nome Alvise (1618-1679) fu eletto Procuratore di S.Marco de Supra, e fu amatore di cose d'arte. Il fratello di costui, Almorò (1615-1682) venne eletto Procuratore de Ultra nel 1656, e, unico proprietario del palazzo, lasciò tutto il patrimonio inalienabile alla primogenitura maschile, con l'obbligo di chiamarsi col suo nome e di essere abile al Maggior Consiglio. Nel 1691, anche suo figlio Alvise Vitale fu insignito della dignità procuratoria. Chi si dedicò ad ingrandire il palazzo fu comunque l'Almorò (1660-1744) che nei primi due decenni del '700 fece sopraelevare l'edificio accogliendo il progetto dell'architetto Girolamo Frigimelica, che diede anche il primo progetto per la villa di Stra. Un suo fratello, Andrea (1662-1718) giunse a diventare capitano generale da mar, morendo, dopo aver inflitto notevoli sconfitte ai turchi, nello scoppio della polveriera della fortezza di Corfù. Il più celebre dei fratelli fu certamente Alvise (1664-1741) che era stato ambasciatore presso Luigi XIV e presso Anna d'Inghilterra, eletto prima Procuratore di S.Marco de Citra e quindi, nel 1735, Doge di Venezia. Dei discendenti, Alvise (1754-1808) fece fare grandi lavori di abbellimento del palazzo al tempo delle nozze con Giustiniana Pisani di S.Maria del Giglio che gli portò in dote i ragguardevoli beni di quel ramo che con lei si estinse. Prima di sposarsi, Alvise aveva viaggiato per due anni attraverso l'Europa, giungendo fino in Svezia. Aderì alla Libera Muratoria, raggiungendovi il secondo grado. Rappresentò Venezia come ambasciatore a Madrid e Parigi, da cui passò successivamente a Londra dove rimase fino al 1795. Tornato a Venezia, assunse la carica di Procuratore di S.Marco, ed alla caduta della Repubblica fece parte della Municipalità provvisoria, cosa che non gli fu mai perdonata dal patriziato. Alla fine venne nominato presidente dell'Accademia di Belle Arti, morendo l'anno dopo. Anche il fratello Francesco (1759-1836) ebbe notevoli incarichi politici, subentrando ad Alvise nell'ambasceria a Madrid. I due fratelli non seppero mai contenere le spese, ed anche per la passione del gioco di Alvise, si trovarono oberati di debiti, tanto da essere costretti a vendere a Napoleone nel 1807 la villa di Stra. Nel 1809 Francesco e l'erede di Alvise (anche lui di nome Francesco) si spartirono tutti i beni indivisi, compresi il palazzo e le opere d'arte in esso contenute. Ben presto anche l'edificio cominciò ad essere venduto a lotti, finchè, morto lo zio, a Francesco non rimase che la parte più antica, quella verso palazzo Morosini, mentre il resto veniva venduto all'asta.

Nel corso dell'800, se ne andarono tutte le opere d'arte che trovarono un acquirente, finchè nel 1897 il Comune acquistò per 70.000 lire la parte più recente del palazzo per farne sede del Liceo civico musicale; nel 1907 il Comune acquisì altri locali, fino ad entrare in possesso di tutto intera la costruzione nel 1921.L'acquisto da parte del Comune permise di arrestare la fuga delle opere d'arte, ma l'edificio continuò fino al 1940 ad ospitare una trentina di alloggi in affitto.