Penduduk Desa Buniayu memiliki banyak cerita rakyat yang turun-temurun. Misalnya adalah legenda Panembahan Perawan Sunti yang konon menyatakan bahwa di Desa Buniayu akan selalu ada pemuda ataupun pemudi yang tidak menikah dalam satu masa.
Asal Mula Nama Desa Buniayu
Kata Buniayu berasal dari kata dalam bahasa Jawa, yaitu "Ibune" (Ibunya) dan "Ayu" (cantik), sehingga secara utuh diterjemahkan sebagai Ibunya Cantik. Sebutan ini awalnya digunakan untuk menyebut seorang wanita pemimpin desa pada masa awal yang rela untuk tidak menikah demi memimpin desanya. Ibu ini kemudian disebut Perawan Sunti atau Perawan Suci karena tidak menikah hingga akhir hayatnya dan tetap mempertahankan kesuciannya.
Konon, Ibu Sunti adalah putri dari Mbah Buyut Lekor, yaitu orang yang pertama kali membabat alas (membuka hutan) untuk membangun Desa Buniayu. Ia dikisahkan memimpin desa dengan sangat bijaksana, tetapi tegas dalam bersikap, bahkan rela mengorbankan kehidupannya demi warga desanya. Dalam kisah turun-menurun, Ibu Sunti dikatakan berkeliling desa dengan mengendarai kuda untuk menyambangi warganya.
Makam Ibu Sunti berada di Grumbul Sigandu, sisi sebelah barat jalan. Sedangkan makam Mbah Buyut Lekor berada di sisi timur di dekat Kali Ijo. Makam Ibu Sunti disebut "Panembahan Perawan Sunti" dan Makam Mbah Buyut Lekor disebut "Panembahan Buyut Lekor".
Makam Panembahan Perawan Sunti banyak didatangi para gadis untuk menyekar, bertawasul, dan berdoa agar dimudahkan mendapatkan jodoh. Ada himbauan dari Juru Kunci makam, jika ada gadis yang disakiti oleh lelaki karena cinta, sangat dilarang untuk datang ke Makam Panembahan Perawan Sunti. Jika larangan ini dilanggar, ada kepercayaan bahwa bila ia berdoa di makam ini dan menyebut nama pria yang menyakitinya, pria itu akan menjadi tergila-gila padanya dan obatnya adalah hanya dengan menikahinya.
Ibu Sunti tidak ingin anak-cucunya tidak menikah karena sakit hati, karena ia sendiri tidak menikah karena perjuangannya dan lebih mementingkan warga desanya, daripada iia menikah kemudian meninggalkan warga yang dicintainya. Itulah sebabnya Ibu Sunti tidak rela jika anak-cucunya ada yang tidak menikah. Ia berpesan, "Biarlah Ibu sendiri yang menjadi perawan suci hingga akhir hayat."
Namun, terdapat mitos bahwa akan ada yang meneruskan perjuangan Ibu Sunti dalam bidang sosial, yaitu dengan mengorbankan diri sendiri untuk tidak menikah.