ตามตำนานเล่าว่า ในอดีตกาล พระเจ้าอลองพญากษัตริย์พม่า ได้ให้มังระ ละมังฆ้อนนรธาราชบุตร ยกทัพมาตีเมืองมะริดของไทย ซึ่งอยู่ในความปกครองของกรุงศรีอยุธยา ในครั้งนั้นขุนรองปลัดชู กรมการเมืองวิเศษไชยชาญ ซึ่งเป็นผู้ทรงวิทยาคมแก่กล้า ชำนาญการรบด้วยดาบสองมือ จนมีลูกศิษย์มากมาย จึงได้รวบรวมชาววิเศษไชยชาญ จำนวน 400 คน เข้าสมทบกับ กองทัพของพระยารัตนาธิเบศร์ โดยใช้ชื่อว่า “กองอาทมาต” เมื่อพระยารัตนาธิเบศร์ยกกองทัพไปตั้งที่เมืองกุยบุรี จังหวัดประจวบคีรีขันธ์ และได้สั่งให้ขุนรองปลัดชูคุมกองอาทมาต ไปตั้งสกัดกองทัพพม่าที่อ่าวหว้าขาว เหนือที่ว่าการจังหวัดประจวบคีรีขันธ์ในปัจจุบัน พอกองทัพพม่ายกทัพผ่านมาขุนรองปลัดชูจึงคุมทหารเข้าโจมตีรบด้วยอาวุธสั้นถึงตะลุมบอน แม้ทหารของไทยจะน้อยกว่า แต่ก็สามารถรบกับพม่าจนล้มตายเป็นจำนวนมาก การต่อสู้ผ่านไป 1 คืน ถึงเที่ยงวัน รุ่งขึ้นก็ยังไม่สามารถเอาชนะพม่าได้ เพราะพม่ายกทัพหนุนเข้ามาช่วยอีก ด้วยกำลังที่น้อยกว่าจึงอ่อนแรง ในที่สุดก็ถูกพม่ารุกไล่โจมตีแตกพ่ายยับเยิน แต่ทหารกองอาทมาต มีวิชาอาคมแก่กล้า ฟันแทงไม่เข้า ทหารพม่าจึงไสช้างเข้าเหยียบย่ำทหารกองอาทมาตตายเป็นจำนวนมาก ที่เหลือก็ถูกไล่ลงทะเลจมน้ำตายไปในที่สุด ขุนรองปลัดชูพร้อมด้วยทหารกองอาทมาตแขวงเมืองวิเศษไชยชาญ จำนวน 400 คน จึงเสียชีวิตด้วยฝีมือของพม่า เมื่อชาววิเศษไชยชาญทราบข่าวก็พากันโศกเศร้าเสียใจ จึงได้แต่ภาวนาขอบุญกุศล ที่ได้สร้างสมไว้จงเป็นปัจจัยส่งผลให้ดวงวิญญาณทหารกล้าได้ไปสู่สุคติ ความเงียบเหงาวังเวงเกิดขึ้น หมดกำลัง ใจในการทำมาหากิน ไม่มีอะไรดีไปกว่าการร่วมกันสร้างสิ่งต่าง ๆ ไว้เป็นที่ระลึกถึงผู้พลีชีพจึงได้สร้างวัดสี่ร้อยขึ้น ในปี พ.ศ. 2313 โดยตั้งชื่อวัดตามจำนวนกองอาทมาต 400 คนที่เสียชีวิตไปในการรบ ทั้งนี้ เพื่อเป็นอนุสรณ์แก่อนุชนรุ่นหลังของชาวเมืองวิเศษไชยชาญ ย้ำเตือนความทรงจำให้ระลึกถึงบรรพบุรุษ ที่พลีชีพและปกป้องแผ่นดินจนเสียชีวิต เจ้าอาวาสวัดสี่ร้อยในขณะนั้น จึงได้สร้างเจดีย์ ไว้เป็นที่รวบรวมดวงวิญญาณของ ชาวแขวงเมืองวิเศษไชยชาญ ที่เสียชีวิตจำนวน 400 คน และมีการจัดงานประจำปีของวัดสี่ร้อยขึ้น โดยตรงกับวันเพ็ญ เดือน 12 ซึ่งประชาชนทั่วสารทิศจะมานมัสการหลวงพ่อใหญ่ ขอโชคลาภต่าง ๆ นานา ใครมีทุกข์ร้อนประการใดก็มาบอกเล่าหลวงพ่อใหญ่ และมักมีการแก้บนด้วยพลุและละคร ปัจจุบันนี้วัดสี่ร้อยเป็นหนึ่งในแหล่ง ท่องเที่ยวน่าไปของจังหวัดอ่างทอง
