Il castello del Tasso fu edificato nell'alto medioevo da un gruppo di famiglie di origini longobarda, come si deduce dalla lunga persistenza nel luogo di tradizioni barbariche e la chiara origine nordica dei nomi di persona ancora diffusi localmente nel XII secolo. Anche il Tasso appartenne alla giurisdizione feudale dei Conti Guidi. Forse, per un certo periodo, il castello fu affidato alla custodia dei vassalli dei conti, gli Ubertini o i Pazzi del Valdarno, ma nel 1310 furono gli stessi suoi abitanti a chiedere di sottomettersi a Firenze.
Successivamente, il 31 dicembre 1376, il territorio sarebbe stato accorpato all’appena istituita podesteria di Terranuova. Nel cento storico resta la Chiesa parrocchiale dedicata ai santi apostoli Filippo e Giacomo, che conserva una Ascenzione di Cristo e altri dipinti raffiguranti i santi patroni e i quattro evangelisti.
Caratteristico il paesaggio collinare interrotto da calanchi d'argilla e altre rocce sedimentarie depositatesi sul fondo dell'antico lago pleistocenico, dalle quali affiorano talvolta resti fossilizzati di animali preistorici e che sono universalmente conosciute dai geologi come le "sabbie del tasso".
