Probabilmente alla congiunzione delle due strade esisteva una casa torre non lontano da Albola, oggi inglobata nelle costruzioni posteriori che sorsero sul pianoro da cui poi derivò il nome di Pian d'Albola. La prima menzione del castello di Albola si ha in un documento del 1010, nel quale l'arcivescovo di Milano, Arnolfo, consegna a dei laici 10 mansi. Divenuto possedimento degli Acciaioli il castello di Albola viene ingrandito acquistando maggiore importanza, seguendo le vicende del paese subirà irrimediabili danni. Passato in mano alla famiglia dei Pazzi, il castello acquista l'aspetto attuale, anche se ancora privo delle torri poste ai lati della facciata. A metà del XV secolo avvenne la trasformazione in villa degli edifici precedenti, ed una nuova architettura cancella e nasconde i fabbricati anteriori al nuovo intervento. Nel '400 il concetto di casa-torre scompare e i ricchi mercanti scoprono il nuovo stile rinascimentale. La nuova facciata del castello di Albola ha il portale a bozze in posizione centrale, con ai lati finestre rettangolari ripetute al piano superiore, ogni apertura ha una cornice in pietra serena. Un dipinto di Santi di Tito ricorda gli anni trascorsi ad Albola da una bambina che successivamente sarebbe diventata Santa Maria Maddalena dei Pazzi, unico dipinto di lei viva.
Nel ‘600 vennero apportate al castello alcune modifiche come ad esempio il cornicione di gronda che percorre tutto il perimetro. Sul lato sinistro, a se stante, si trova una cappella settecentesca, sorta al posto di un oratorio, è arricchito da alcuni fregi sul portale e con un timpano irregolare sulla facciata. Sull’altra facciata del Castello di Albola vi è uno stemma in pietra della famiglia Ginori-Conti a cui il castello appartenne fino a questi anni. Di minore importanza sono le aggiunte ottocentesche che riguardano principalmente la fattoria. L’interno del Castello ha subito variazioni nel ‘900 interrompendo il rigore con cui gli spazi erano stati concepiti. Alcuni saloni completavano il piano terra ove tutto negli arredi è di grande sobrietà e linearità. Uno stupendo caminetto in pietra serena, collocato tra due portali, accentua quel senso estetico dovuto alle misure auree che legavano strettamente tra di loro l'orizzontale al verticale. I sotterranei, coperti da volte in pietra, fungono da cantine di invecchiamento per il vino prodotto nella zona.