Mennesker har levet ved søerne, lige så længe der har været mennesker i Danmark — og landskabet er fuldt af spor.
Oldtiden
Egnens bønder rejste imponerende storstensgrave for over 5.000 år siden. Tæt på området ligger Kellerøddyssen, med sine ca. 125 meter Sjællands længste langdysse — kendt for fundet af »Kellerødmanden«, hvis kranium bærer sporene af en af verdens ældste kendte, overlevede hjerneoperationer. I Frederikskilde Skov på søens nordside står en velbevaret langdysse, og skovene gemmer over hundrede gravhøje fra bronzealderen.
Vikingetiden
I jernalder og vikingetid var Susåen og søerne en færdselsåre — vandvejen forbandt indlandet med kysten ved Næstved, der voksede frem netop ved åens udmunding. Landsbynavne på -by, -strup og -rød omkring søen fortæller om bebyggelsens udvikling gennem vikingetid og tidlig middelalder.
Middelalderen
Fra 1142 ejede Sorø Kloster store dele af jorden omkring søerne, og en vandmølle ved Kongskilde nævnes allerede i 1284. I selve Hørhaven ligger et middelalderligt voldsted på næsset mod søen — resterne af en befæstet gård omgivet af voldgrav, som stadig kan ses i terrænet. Navnet Hørhaven menes at pege på dyrkning og rødning af hør ved søen.
Nyere tid
Efter reformationen kom jorden under egnens herregårde — syd for søen Gunderslevholm, der stadig driver jorden i dag. Landskabet blev fredet ad flere omgange fra 1957, staten købte arealerne ved Kongskilde i 1971, og i 2013 blev også Hørhaven omfattet af fredningen. I 2003 vendte havørnen tilbage som ynglefugl ved søen.