สถานที่ตั้งวัดเจดีย์ปัจจุบันนั้นเมื่อก่อนได้มี หลวงปู่ทวด วัดช้างให้ ซึ่งเป็นเกจิอาจารย์ดังสายปักษ์ใต้ได้เดินทางกลับจากกรุงศรีอยุธยา และมาปักกรด เดินธุดงค์ อยู่

;