MemTrapBench: ทุกเฟรมเวิร์กความจำที่ทดสอบ ทำให้โมเดลแย่ลงกว่าตอนไม่มีความจำ — และความจำที่ "ถูกต้องทุกอย่าง" ก็ยังทำให้ตัดสินใจผิดได้

ตอนนี้ “ความจำ” คือฟีเจอร์ที่แทบทุกเฟรมเวิร์กเอเจนต์กำลังแข่งกันใส่ และเบนช์มาร์กที่ใช้วัดกันเกือบทั้งหมดถามคำถามเดียวกันว่า ระบบจำข้อมูลได้ถูกไหม ดึงกลับมาได้ครบไหม เปเปอร์ MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use ที่ขึ้น arXiv เมื่อ 20 ส.ค. 2026 โดยทีมของ Mengru Wang และ Ningyu Zhang (กลุ่ม ZJUNLP มหาวิทยาลัยเจ้อเจียง) บอกว่านั่นคือคำถามที่ผิด และไปวัดอีกคำถามหนึ่งแทน: ความจำที่ดึงกลับมาแล้ว มันไปเปลี่ยนการให้เหตุผลของโมเดลอย่างไร

คำตอบที่ได้ตรงไปตรงมาและน่าอึดอัด: จากเฟรมเวิร์กความจำ 5 ตัวบนโมเดล 2 ตระกูล ไม่มีตัวไหนเลยที่ทำคะแนนได้ดีกว่าการไม่ใส่ความจำ ตัวที่ดีที่สุดยังตกกว่า 10% และในฉากที่หนักที่สุด คะแนนร่วงจาก 92.29% เหลือ 31.05%

กับดักไม่ได้เกิดจากความจำผิด แต่เกิดจากความจำที่ถูก

ประเด็นที่ทำให้เปเปอร์นี้ต่างจากงานก่อนหน้าคือ งานเดิมศึกษาความล้มเหลวที่เกิดจาก การจัดการความจำ — ข้อมูลเก่า ข้อมูลผิด สกัดพลาด อัปเดตพลาด ดึงของไม่เกี่ยวมา หรือดึงของที่ต้องใช้ไม่เจอ ส่วน MemTrapBench โฟกัสกรณีที่ ความจำถูกต้องทุกประการและเกี่ยวข้องจริง แต่ยังทำให้ผลลัพธ์แย่ลง ผู้เขียนเรียกมันว่า memory-induced cognitive traps

ตัวอย่างเปิดเรื่องคือเกมเลข 24 (แต่เวอร์ชันนี้อนุญาตให้ใช้ตัวดำเนินการขั้นสูงได้) โจทย์ [4, 1, 1, 1] ต้องใช้แฟกทอเรียล 4! × 1 × 1 × 1 = 24 เมื่อ ไม่มีความจำ Gemini-3-Flash-Preview หาคำตอบนี้เจอ แต่เมื่อใส่ความจำที่บรรจุโจทย์เก่าที่แก้ได้ด้วยบวกลบคูณหารทั้งหมด — ซึ่งล้วน ถูกต้องและเกี่ยวข้อง — โมเดลกลับวนหาคำตอบในปริภูมิของเลขคณิตพื้นฐานซ้ำ ๆ และมองข้ามแฟกทอเรียลไปเลย ความจำที่ดีนั่นแหละคือสิ่งที่ยึดโมเดลไว้กับรูปแบบการคิดแบบเดิม

เบนช์มาร์กมี 1,050 อินสแตนซ์ แบ่งเป็น 4 ฉากภายใต้ 2 หมวด:

• Reasoning Fixation (ติดกับรูปแบบการคิด) — ประกอบด้วย Cognitive Bias และ Trauma ที่จับการติดกับภายในงานเดียวกัน และ Task Boundary ที่ทดสอบว่ากลยุทธ์ที่เคยได้ผลจะติดค้างข้ามไปงานใหม่หรือไม่
• Belief Distortion (ความเชื่อบิดเบี้ยว) — ใช้ฉาก Safety ทดสอบว่าเงื่อนไขที่เป็นข้อสมมติแบบ counterfactual หรือเฉพาะใน sandbox จะถูกยกไปใช้ผิดที่หรือเปล่า

ผู้เขียนย้ำว่าคำว่า “Trauma” ใช้เป็นการเปรียบเทียบเชิงพฤติกรรมเท่านั้น ไม่ได้บอกว่า LLM มีอารมณ์หรือประสบการณ์ทางจิตใจ

ตัวเลข: ทุกกลยุทธ์แพ้ให้กับการไม่มีความจำ

การทดสอบใช้โมเดล Gemini-3-Flash-Preview กับ Qwen3-30B-A3B-Instruct-2507 เทียบเฟรมเวิร์ก 5 ตัวกับเบสไลน์ไม่มีความจำ (wo/Mem) ได้แก่ FullText (ยัดประวัติทั้งหมด), LightMem (บีบอัดและควบรวมเป็นขั้น), MemOS (จัดการความจำหลากชนิดผ่านระบบรวม), SimpleMem (บีบอัดเชิงความหมายมีโครงสร้าง + ดึงตามคำถาม) และ EverMemOS (จัดชั้นความจำสำหรับการให้เหตุผลระยะยาว)

ตั้งค่า	Gemini-3-Flash-Preview	Qwen3-30B-A3B
ไม่มีความจำ (wo/Mem)	85.16%	81.83%
ตัวที่ดีที่สุดเมื่อมีความจำ	EverMemOS 71.17%	LightMem 70.13%
ที่เหลือ	54.69–60.67%	62.87–66.47%

ฉากที่พังหนักที่สุดคือ Cognitive Bias (เหลือ 46.66–65.48% บน Gemini และ 47.18–56.64% บน Qwen) และ Safety (56.15–69.70% บน Gemini, 56.15–69.20% บน Qwen) มีบางฉากที่ความจำช่วยได้บ้าง แต่ ไม่มีกลยุทธ์ไหนที่ดีกว่าเบสไลน์อย่างสม่ำเสมอ

จุดที่ทำให้ผลนี้เชื่อถือได้คือ การควบคุมแบบ no-trap ผู้เขียนสร้างเวอร์ชันที่เก็บงานและประวัติที่เกี่ยวข้องไว้เหมือนเดิม แต่ถอดกับดักที่ออกแบบไว้ออก บนซับเซ็ต Task Boundary: ไม่มีความจำได้ 92.29% เวอร์ชันมีความจำแต่ไม่มีกับดักได้ 94.39% (ดีกว่าเบสไลน์เล็กน้อย) แต่เวอร์ชันที่มีกับดักร่วงเหลือ 31.05% — พิสูจน์ว่าความเสียหายมาจากกับดัก ไม่ใช่จากการมีประวัติเพิ่มเข้ามาเฉย ๆ

ฉาก Trauma เล่าเรื่องได้ชัดกว่านั้นอีก ทั้งสองเวอร์ชันระบุว่า epinephrine ไม่ปลอดภัยเฉพาะกับผู้ป่วยรายหนึ่ง แล้วถามคำถามสุดท้ายเกี่ยวกับผู้ป่วย คนละราย ที่ไม่มีข้อห้ามใช้ เวอร์ชันปกติโมเดลแนะนำ epinephrine เข้ากล้ามได้ถูกต้อง แต่เวอร์ชันที่ประวัติมี คำวิจารณ์รุนแรงต่อคำแนะนำเดิม โมเดลกลับหลบเลี่ยง epinephrine กับผู้ป่วยรายใหม่ ตัวเลข: ถอดคำวิจารณ์ออกแล้ว correctness ขึ้นจาก 66.40% เป็น 91.07% ทั้งที่บริบททางการแพทย์เหมือนกันทุกอย่าง

ปริมาณความจำก็ไม่ได้ช่วย เมื่อลองใส่ประวัติแค่ 25%, 50%, 75% และ 100% คะแนนเฉลี่ยลดลงต่อเนื่องจาก 36.03% เหลือ 31.05% — แต่ประเด็นสำคัญคือ ความเสียหายก้อนใหญ่ที่สุดเกิดตั้งแต่วินาทีที่ใส่ความจำเข้าไป (จาก 92.29% ร่วงเหลือ 36.03% ที่ 25%) ส่วนการเพิ่มความยาวหลังจากนั้นทำให้แย่ลงอีกแค่ 4.98 จุด

และเพื่อกันข้อครหาเรื่องผู้ตัดสิน ผู้เขียนให้ทั้ง GPT-5.2 และ Claude-Sonnet-4.6 ตรวจคำตอบชุดเดียวกันสามรอบอิสระ ทั้งคู่ให้ผลไปทางเดียวกัน: GPT-5.2 เห็น 92.29% → 31.05% (ลด 61.24 จุด) ส่วน Claude-Sonnet-4.6 เห็น 95.57% → 40.07% (ลด 55.50 จุด) ต่างกันที่คะแนนสัมบูรณ์ แต่ตรงกันทั้งทิศทางและขนาด

ทางแก้คือพรอมป์ ไม่ใช่สถาปัตยกรรม

ข้อเสนอของผู้เขียนชื่อ AdaptiveMem และมันเรียบง่ายจนน่าตกใจ — เป็น skill prompt ระดับ inference-time ที่เตือนโมเดลถึงกับดักที่อาจมี และให้ตรวจสอบก่อนว่าความจำที่ดึงมายังใช้ได้กับงานตรงหน้าหรือเปล่า มันไม่แตะที่เก็บความจำ ไม่แตะการดึงข้อมูล ไม่แตะพารามิเตอร์โมเดล จึงเสียบเข้าเฟรมเวิร์กที่มีอยู่ได้ตรง ๆ

ผลจากการสุ่ม 200 อินสแตนซ์ต่อเบนช์มาร์ก: บน MemTrapBench AdaptiveMem ยกคะแนน FullText, LightMem และ EverMemOS ได้ +11.8, +14.9 และ +11.3 จุด บน Gemini-3-Flash-Preview และ +4.2, +2.5, +2.6 จุด บน Qwen3-30B ส่วนบน LongMemEval ซึ่งเป็นเบนช์มาร์กความจำแบบดั้งเดิม มันดีขึ้นใน 4 จาก 6 การตั้งค่า และเสมอในอีกสอง — คือไม่ได้แลกความสามารถด้านความจำปกติทิ้งเพื่อแก้กับดัก ข้อมูลและโค้ดผู้เขียนแจ้งว่าจะปล่อยที่ github.com/zjunlp/MemTrapBench

มุมมอง AI Curator

ผมคิดว่าคุณค่าจริงของเปเปอร์นี้ไม่ได้อยู่ที่ AdaptiveMem แต่อยู่ที่การชี้ว่า วงการวัดความจำผิดตัวชี้วัดมาตลอด เบนช์มาร์กความจำเกือบทั้งหมดถามว่า “จำได้ไหม” ซึ่งเป็นคำถามของระบบค้นคืน แต่คำถามที่ผู้ใช้แคร์คือ “ตัดสินใจดีขึ้นไหม” ซึ่งเป็นคำถามของระบบให้เหตุผล และผลชุดนี้บอกว่าสองอย่างนี้ ไม่ได้ไปด้วยกันเสมอ — บางทีสวนทางกันเลย

ที่ควรระวังคือการอ่านผลนี้เกินตัว เบนช์มาร์กนี้ ออกแบบมาเพื่อวางกับดักโดยเฉพาะ ตัวเลข 31.05% จึงไม่ใช่คะแนนที่คุณจะเจอในโปรดักชันทั่วไป (การควบคุม no-trap ที่ได้ 94.39% นั่นแหละคือกรณีปกติ) สิ่งที่ผลนี้พิสูจน์คือ ความเปราะบางมีอยู่จริงและเป็นระบบ ข้ามโมเดลและข้ามเฟรมเวิร์ก ไม่ใช่ว่าความจำแย่เสมอ

แต่ในทางปฏิบัติ ฉาก Trauma คือสิ่งที่ผมคิดว่าทีมไทยจะเจอเร็วที่สุด ลองนึกถึงเอเจนต์บริการลูกค้าหรือผู้ช่วยภายในองค์กรที่จำ “ฟีดแบ็ก” ของผู้ใช้เอาไว้ตามดีไซน์ปกติ — พอมีคนด่าคำตอบหนึ่งแรง ๆ ครั้งเดียว เอเจนต์ก็เรียนรู้ที่จะ หลบคำตอบประเภทนั้นกับทุกคนหลังจากนั้น แม้เคสใหม่จะไม่มีเงื่อนไขเดียวกันเลย นี่คือรูปแบบความเสียหายที่มองไม่เห็นในล็อก เพราะเอเจนต์ไม่ได้ตอบผิด มันแค่ ไม่ยอมตอบสิ่งที่ถูก และในบริบทที่ regulator ไทยเริ่มสนใจ AI ในภาคการเงินและสุขภาพ ความระมัดระวังเกินเหตุที่เกิดจากความจำนั้นตรวจสอบยากกว่าการตอบผิดตรง ๆ มาก

คำแนะนำที่ผมจะให้กับทีมที่กำลังต่อความจำเข้าเอเจนต์ตอนนี้มีสามข้อ: หนึ่ง — เพิ่มเบสไลน์ “ไม่มีความจำ” เข้าไปใน eval ของคุณเสมอ ถ้าเปิดความจำแล้วคะแนนไม่ขึ้น แปลว่าคุณกำลังจ่ายค่าโทเคนเพื่อทำให้ระบบแย่ลง สอง — แยกความจำเชิงข้อเท็จจริงออกจากความจำเชิงฟีดแบ็กและกลยุทธ์ เพราะสองอย่างหลังคือแหล่งกับดักหลักในเปเปอร์นี้ สาม — ลองพรอมป์แบบ AdaptiveMem ก่อนจะไปรื้อสถาปัตยกรรม เพราะได้ 11–15 จุดจากข้อความไม่กี่บรรทัดคืออัตราแลกเปลี่ยนที่หาไม่ได้ง่าย ๆ และมันเข้ากันดีกับบทเรียนจากงานวิจัย Agent Skills เมื่อวานนี้ที่พบว่ากำไรส่วนใหญ่ของ skill มาจากการยึดกระบวนการ ไม่ใช่การเติมความรู้

แหล่งข่าว

• MemTrapBench: Benchmarking Cognitive Traps in LLM Memory Use — arXiv:2608.20202 (20 ส.ค. 2026)
• ฉบับเต็ม HTML บน arXiv
• zjunlp/MemTrapBench — GitHub (ผู้เขียนแจ้งว่าจะปล่อยข้อมูลและโค้ดที่นี่)