I primi documenti che parlano del castello risalgono al 1038, quando Sarteano apparteneva ai conti Manenti, consorteria longobarda. La sua importanza è facilmente intuibile: si trova in un incrocio di confini (Siena, Perugia, Orvieto) e su una importante rete viaria. Le mura lambivano un’antica via etrusca, evolutasi durante il Medioevo in una delle principali ramificazioni della via per Roma che, da Chiusi arrivava al Paglia, per incrociare altre strade ad Acquapendente. Era di importanza strategica, e per questo munito di incredibili difese e cinte murarie. Per questo resistette a ogni assedio, compreso quello di Cesare Borgia nel 1503 e dell’esercito spagnolo nel 1552. Inevitabilmente, dopo il controllo dei Manenti (dal 1280) Sarteano fu teatro di molti scontri e lotte fino a quando si legò in accomandigia con la Repubblica di Siena, nel 1379. Da questo momento in poi il cassero subì una radicale trasformazione ad opera di importanti artisti di scuola senese (con un risultato di grande eleganza), tra i quali Lorenzo di Pietro di Giovanni di Lando detto il Vecchietta (1410-1480), Guidoccio d’Andrea e Antonio Federighi. Tra il 1467 e il 1469 il mastio centrale fu dotato di una cinta muraria intervallata da due torrioni circolari e interrotta nel punto di ingresso da un portone con ponte levatoio. Nel 1617 il castello venne donato in uso perpetuo a Brandimarte Fanelli e a tutti i suoi discendenti che lo ebbero in proprietà fino al 1997, anno in cui fu acquistato dall’Amministrazione comunale e restaurato.