เป็นวัดที่มีความสำคัญทางประวัติศาสตร์และโบราณคดี มีถ้ำซึ่งมีกำแพงก่ออิฐถือปูนและในเสมาเช่นเดียวกับกำแพงเมือง ในถ้ำมีพระพุทธรูปสำริดประมาณ 30 องค์และมีหลายถ้ำทะลุถึงกัน อย่างไรก็ตามเป็นที่เชื่อกันในหมู่คนท้องถิ่นว่า เป็นที่ประทับของพระเจ้าตากสินขณะทรงผนวช

-มีความสำคัญทางด้านโบราณคดีและประวัติศาสตร์เนื่องจากมีถ้ำที่มีกำแพงก่ออิฐเหมือนกำแพงสมัยโบราณ
-ผนังของวัดด้านหน้าเป็นลวดลายปูนปั้นประดับด้วยเครื่องลายครามของจีน
-ในบริเวณถ้ำมีพระพุทธรูป 30 องค์และพระพุทธบาทสำริด

ตามประวัติเชื่อกันว่า เขาขุนพนม เคยเป็นที่ประทับของสมเด็จพระเจ้าตากสินมหาราชภายหลังจากสิ้น รัชกาลของพระองค์ มีผู้สันนิษฐานว่าพระเจ้าตากสินทรงมิได้ถูกประหารชีวิต อย่างที่พงศาวดารกล่าวอ้าง แต่ ได้ทรงสับเปลี่ยนพระองค์กับพระญาติหรือทหารคนสนิท แล้วเสด็จมายังนครศรีธรรมราช มีการเตรียมการ โดยมีการสร้างป้อมปราการ ทำเชิงเทิน ป้อมวงกลมตามชะง่อนผาเพื่อให้พระเจ้าตากสินได้ประทับเมื่อทรงผนวชเจริญวิปัน สนากรรมกรรมฐาน ณ วัดเขาขุนพนมจนเสด็จสวรรคต แต่บางกระแสกล่าวว่าเขาขุนพรม สร้างโดยพระยาตรังภูมาภิบาลเจ้าเมืองนครศรีธรรมราช สำหรับพักตากอากาศที่เขาขุนพนมจึงมีการสร้าง ป้อมปราการคอยป้องกันอย่างแน่นหนา ความสำคัญต่อชุมชน ชาวเขาขุนพนมมีความเชื่อเรื่องพระเจ้าตากสินมหาราช เสด็จหนีมาประทับที่เขาขุนพนม จึงได้ร่วมมือ กันสร้างพระตำหนักสมเด็จพระเจ้าตากสินมหาราช บริเวณชะง่อนหินเชิงเขา ซึ่งเป็นบริเวณที่เชื่อว่าพระองค์ ประทับขณะผนวชอยู่ ประชาชนที่ยังระลึกถึงวีรกรรม และความกล้าหาญในการกู้เอกราชชาติไทยในสมัยเสีย กรุงศรีอยุธยาครั้งที่ ๒ ได้ร่วมกันสร้างพระบรมสาทิสลักษณ์ ทั้งในเพศบรรชิต และชุดฉลองพระองค์นักรบ แล้วอัญเชิญมาไว้ในศาลให้ผู้คนที่ศรัทธาได้มากราบไหว้ ปัจจุบันจึงมีประชาชน จากทั่วสารทิศมาเขาขุนพนม อยู่เสมอเพื่อตามรอยพระเจ้าตากสินมหาราชลักษณะทางสถาปัตยกรรมเขาขุนพนมมี ลักษณะเป็นภูเขาหินปูนลูกโดดเตี้ย ๆ มีต้นไม้ปกคลุมอยู่อย่างหนาแน่น บนภูเขามีถ้ำหินปูน ที่มีโพรงหินงอกหินย้อน ลักษณะของภูเขาวางตัวอยู่ในแถบเหนือ-ใต้ มีความยาวประมาณ ๗๕๐ เมตร กว้างตามแนวทางทิศตะวันออก-ตะวันตก ประมาณ ๕๐๐ เมตร สูงจากระดับน้ำทะเลปานกลางประมาณ ๔๓ เมตร ส่วนยอดเขาสูง จากระดับน้ำทะเลปานกลางประมาณ ๑๖๕ เมตร ทางทิศใต้ของภูเขาเป็นทางลาดชัน ทางทิศเหนือเป็นไหล่เขา ทางทิศตะวันตกเป็นสวนมังคุดและสวนยางพารา ทางทิศตะวันตกเป็นโรงเรียนและวัดเขาขุนพนม เขาขุนพนมมีจุดเด่นอยู่ที่วัดเขาขุนพนมซึ่งตั้งอยู่ทางทิศตะวันออกเฉียงใต้ ของเขาขุนพนม ประวัติการก่อสร้างไม่ปรากฏ แต่หลักฐานประเภทโบราณสถานและโบราณวัตถุต่าง ๆ สามารถบ่งนี้ได้ว่า วัดเขาขุนพนมน่าจะสร้างขึ้นในตั้งแต่ครั้งกรุงศรีอยุธยาเป็นราชธานี