Un castello nella zona di Panzano doveva esistere già nel X secolo, allorché ovunque nelle campagne toscane si apprestavano a opere di difesa. Proprio a cavallo tra la Val di pesa e la Val di Greve il castello domina una vasta zona all'intorno e, per le caratteristiche naturali del colle su cui sorge, a suo tempo doveva essere difficilmente espugnabile. Appartenne prima ai Firidolfi, in un frammento di cronaca esistente presso l'archivio di Brolio, si annovera il "castello di Panzano a capo Grieve" tra i possedimenti della consorteria sin dalle origini. Con l'ascesa politica e la conseguente espansione territoriale del comune fiorentino, anche Panzano entrò a far parte del territorio dipendente dalla repubblica. Questa lo inserì nella Lega della val di Greve. Panzano fu interessato ai più importanti avvenimenti storici della Lega del Chianti:
nel 1260, il castello venne saccheggiato dai ghibellini senesi e le sue torri vennero atterrate.
Nel 1397 nuove distruzioni furono portate dalle truppe di Alberico da Barbiano, che espugnarono il fortilizio durante una scorreria nel contado fiorentino.
Infine, nel 1478 Panzano rimase l'estremo baluardo della difesa fiorentina nel Chianti invaso dall'esercito aragonese, nel castello ebbe residenza il Commissario della repubblica fiorentina. Sebbene alcune sovrastrutture ne nascondano una parte e, nonostante le distruzioni apportategli dagli uomini e dal tempo, il castello di Panzano conserva ancora la sua antica imponenza, tanto che la costruzione più elevata del paese è sempre il cassero, pur essendo l'altezza della torre inferiore a quella originale. La disposizione del fortilizio, era del tipo consueto: una cinta di mura esterne con ballatoi e torri d'angolo racchiudeva un torrione interno, il cassero. Delle mura perimetrali della costruzione a pianta quadrangolare, i resti più cospicui sono nel lato ovest. Ancora esistenti, ma assai diminuiti di altezza sono le mura relative ai lati est e nord. La parte anteriore del castello, ove si apriva la porta di accesso, è parzialmente soffocata da costruzioni posteriori e manca del tutto nel tratto ove sorge l'attuale chiesa del borgo, il cui campanile era una delle torri d'angolo della fortificazione. I caratteri architettonici possono essere riferiti al XIII secolo inoltrato: lo attestano la minor accuratezza del parametro murario ,in prevalenza a irregolari filaretti di alberese e pietra di torre e la foggia degli archivolti della porta di accesso e di alcune finestre del castello.