La località è menzionata per la prima volta nella donazione del marchese Bonifazio alla Badia fiorentina nel 1004. In seguito nel XII secolo troviamo a Brolio i Ricasoli. Nel 1176 i fiorentini ottennero dai senesi la cessione di alcuni loro castelli tra cui il Castello di Brolio. Divenuto una roccaforte fiorentina i senesi cercarono invano di riconquistarlo. Nel 1397 fu assalito dal capitano di ventura Alberico da Barbiano, che non riuscì comunque a riconquistarlo. Nel 1432 vi penetrò di sorpresa un avventuriero senese, che però, dopo poco tempo dovette restituire il castello ai fiorentini. Nel 1452 il Castello di Brolio riuscì a resistere alle milizie aragonesi di Ferdinando, duca di Calabria. Al contrario, in occasione della seconda invasione aragonese del Chianti e nel 1478 il castello venne espugnato, malgrado la resistenza dei fiorentini comandati da Anghiarino. Occupato il fortilizio, i senesi ne iniziarono la demolizione. Grazie alla pace ottenuta da Lorenzo il Magnifico, il Castello di Brolio tornò in mano ai fiorentini che ne completarono la ricostruzione nel 1484. Il castello venne nuovamente occupato nel 1529 da due compagnie di fanti spagnoli al seguito dell'esercito imperiale, solo dopo la restaurazione medicea il castello tornò ai fiorentini.
Durante la guerra contro Siena del 1554, il Castello di Brolio svolse un'importante funzione di caposaldo avanzato della repubblica gigliata e contribuì alla capitolazione dei senesi. Oggi villa padronale, il castello di Brolio, benchè integrato da costruzioni neo-gotiche della seconda metà dell'800, conserva ancora intatto il circuito murario della fine del '400 e, all'interno di questo il cassero della fortificazione medievale. Le poderose mura hanno una forma di pentagono irregolare e un cammino di ronda che corona gli spalti e dal quale si vede un amplissimo panorama del Chianti. Cinque bationi sono agli angoli, in essi si aprono le feritoie in alto ed in basso, poste in modo da poter spezzare le mura con difesa radente. Altre troniere sono anche lungo le mura, furono riaperte nell'800 poiché erano state sotterrate quando il castello da questa parte fu terrapianato. Internamente alle mura vi erano dei passaggi sotterranei da un bastione all'altro, di essi ne rimane solo uno praticabile.