Cisco พบ frontier AI ทุกตัวล้มเหลวใน multi-turn attack — Grok 4.1 Fast ASR 88%, Gemini 3 Pro 73%, GPT-5.4 พุ่ง 9 เท่า

ทีม AI threat intelligence ของ Cisco ปล่อย report เมื่อวันที่ 28 พฤษภาคม 2026 เปิดเผยผลทดสอบ multi-turn attack บนโมเดลแนวหน้า 15 ตัวจาก OpenAI, Anthropic, Google, Amazon และ xAI ผลคือ ทุกโมเดลล้มเหลวอย่างมีนัยสำคัญ เมื่อให้ผู้โจมตีค่อย ๆ สร้าง context สวมบทบาท หรือ escalate ทีละ turn — และที่สำคัญกว่านั้นคือ benchmark ที่อุตสาหกรรมใช้กันอยู่จัดอันดับโมเดลผิด เพราะวัดเฉพาะ single-turn attack ซึ่งไม่ใช่วิธีที่ adversary จริงใช้

ขอบเขตการทดสอบครอบคลุม 30,000 single-turn prompt + 7,000 multi-turn attack ใน 1,400 บทสนทนา ทำให้เป็นชุดข้อมูลทดสอบ AI safety ระดับ proprietary model ที่ใหญ่ที่สุดชุดหนึ่งของปี

ตัวเลข ASR ที่กระโดดสูงจน benchmark เดิมใช้ไม่ได้

ในชุด 15 โมเดล:

• xAI Grok 4.1 Fast (non-reasoning): multi-turn ASR ขึ้นไปถึง 88.30% — สูงสุดในชุด เป็นค่าที่เกินหนึ่ง order of magnitude เหนือต่ำสุด
• Google Gemini 3 Pro: ขึ้นจาก ~18% (single-turn) เป็น 73% — เพิ่มกว่า 55 percentage points
• OpenAI GPT-5.4: ขึ้นจากเลขหลักเดียวต้น ๆ เป็น ~25% — เพิ่มประมาณ 9 เท่า
• Anthropic Claude family: single-turn ASR ต่ำที่สุด (เลขหลักเดียว) แต่ multi-turn ยังตก 11-16%
• Amazon Nova 2 Lite: ผกผัน — single-turn ASR ค่อนข้างสูง แต่ multi-turn ต่ำสุดในชุดที่ ~8%

ในรวมกว่าครึ่งของโมเดลที่ทดสอบ มี gap ระหว่าง single-turn กับ multi-turn ASR เกิน 15 percentage points — ค่าที่ Cisco เสนอให้ใช้เป็น threshold สำหรับ flag โมเดลเข้าสู่ manual review

Reasoning flag เพียง flag เดียวเปลี่ยน threat profile ทั้งหมด

จุดที่น่าตกใจที่สุดในรายงานคือ Grok 4.1 Fast เปิด reasoning mode ลดทันที มากกว่า 40 percentage points จาก 88% เหลือประมาณครึ่งหนึ่ง — flag config ตัวเดียว เปลี่ยน security posture ทั้งหมด แต่ ไม่มี public benchmark หรือ model card ใดเปิดเผยตัวเลขนี้

แปลว่า user ที่ใช้ default config (non-reasoning เพราะถูกกว่าและเร็วกว่า) เจอ threat profile คนละโลกกับ user ที่เปิด reasoning — และไม่มีใครบอกเขา

Amy Chang หัวหน้าทีม AI threat ของ Cisco บอก Help Net Security ว่า คำถามที่ buyer และ regulator ควรถามคือ “โมเดลนี้ปลอดภัยแค่ไหนกับ scenario โจมตีจริง?” ไม่ใช่ “โมเดลนี้ทำคะแนน benchmark ได้เท่าไหร่” — เพราะ “real adversary ไม่หยุดที่ refusal ครั้งแรก เขา build context, reframe หรือ escalate ข้าม turn”

รูปแบบการโจมตีและข้อเสนอแนะ

Cisco ระบุ 5 กลยุทธ์ multi-turn ที่ขับเคลื่อนผลส่วนใหญ่:

1. Role-play / persona adoption (ให้ AI สวมบทบาทที่ทำให้ refusal อ่อนลง)
2. Contextual ambiguity (สร้าง context กำกวมเพื่อ confuse alignment)
3. Refusal reframing (เปลี่ยนกรอบของคำถามหลังถูกปฏิเสธ)
4. Information decomposition (แยกคำถามเป็นชิ้นเล็ก ๆ แต่ละชิ้นไม่ trigger refusal)
5. Crescendo-style escalation (ค่อย ๆ เพิ่มความรุนแรงทีละขั้น)

ส่วน single-turn — สาม procedure ที่ทำคะแนนสูงสุดคือ Imposter AI, Soft Paraphrase และ System Prompts

Cisco เสนอ 3 ข้อปฏิบัติสำหรับ enterprise ที่ procure AI:

• (1) เรียกร้องให้ vendor publish ASR แยกตาม strategy family ทุกครั้งที่ release model
• (2) Gate การ deploy โดยใช้ regression threshold 3 points บน top 3 procedure และ content type
• (3) Flag model ที่มี cross-regime gap เกิน 15 points เข้า manual review (rule นี้เพียงข้อเดียวก็จะ surface โมเดลกว่าครึ่งในชุด)

รายงานชี้ด้วยว่า NIST AI Risk Management Framework, NIST Cyber AI Profile (IR 8596) ที่กำลังจะออก และ Article 15 ของ EU AI Act ต่างพูดถึง adversarial robustness testing — แต่ไม่มีฉบับไหนระบุ interaction regime, strategy decomposition หรือ slice-support labeling แบบที่ Cisco เสนอ

มุมมอง AI Curator

รายงานฉบับนี้ทำหน้าที่ “ปรับกระดูก” วงการ AI safety ที่สำคัญ 3 จุด

(1) Benchmark เดิม misrank โมเดลจริง ๆ — Anthropic Claude ที่ดูดีที่สุดบน single-turn (เลขหลักเดียวต้น ๆ) ยังตกลง 11-16% บน multi-turn ส่วน Amazon Nova 2 Lite ที่ดูดีบน multi-turn (8%) มี single-turn ASR ที่ค่อนข้างสูง — ถ้าคุณตัดสินใจ procurement จาก single-turn อย่างเดียวคุณซื้อโมเดลผิด หรือถ้าใช้ multi-turn อย่างเดียวก็ผิดเหมือนกัน นี่เป็นเหตุผลที่ public leaderboard ที่ใช้กันอยู่ทุกวันนี้ไม่พอสำหรับ enterprise procurement

(2) “Default config” คือ blind spot ที่ใหญ่กว่าที่เราคิด — กรณี Grok 4.1 Fast reasoning vs non-reasoning ลดความเสี่ยงครึ่งหนึ่งจาก config flag เดียวเป็นตัวอย่างเดียวที่เปิดเผย แต่โมเดลอื่น ๆ น่าจะมีกรณีคล้ายกันที่ vendor ยังไม่บอก สิ่งที่ enterprise CTO/CISO ควรขอจาก vendor คือ threat profile แยกตาม config preset ที่ใช้งานจริงใน production ไม่ใช่ตัวเลขรวม

(3) Guardrail ลดความเสี่ยง — แต่ “ไม่ตัด” ความเสี่ยง — quote ของ Amy Chang ที่ว่า base model “set the floor on what any production system can achieve” สำคัญมาก แปลว่าเมื่อคุณวาง LLM Gateway/Guardrail (Llama Guard, NeMo Guardrails, Cisco AI Defense) คุณกำลังลด risk แต่ ไม่สามารถลดต่ำกว่า floor ที่ base model มี ในยุคที่ agent ทำงานเอง blast radius ของ misaligned agent อันตรายกว่า bug ทั่วไป

สำหรับองค์กรไทยและ SEA — ถ้าคุณกำลัง deploy chatbot, agent หรือ copilot บน Claude/Gemini/GPT/Grok/Nova ในงานที่ touch ข้อมูล customer, financial transaction หรือ regulated workflow คำแนะนำ pragmatic 3 ข้อคือ (ก) สร้าง multi-turn red team script ของตัวเองที่อิง 5 strategy family ของ Cisco ก่อน go-live ทุกครั้ง — ใช้ open-source tool อย่าง DeepTeam, PromptFoo หรือ Garak (ข) ตั้ง observability ที่ log multi-turn conversation พร้อม flag pattern เช่น role-play หรือ refusal reframing เพื่อให้ทีม security เห็นการโจมตีจริง — single prompt log อย่างเดียวจะมองไม่เห็น (ค) เวลาเลือก vendor อย่าซื้อจากคะแนน MMLU/HumanEval/HHH หรือ leaderboard อันดับเดียว ขอตัวเลข multi-turn ASR แยก config และอ่าน fine print

ในระดับ regulator พ.ร.บ. ปัญญาประดิษฐ์ของไทยที่อยู่ใน draft ควรพิจารณาเพิ่มข้อกำหนด adversarial robustness ที่ระบุ interaction regime (single-turn vs multi-turn) ให้ชัดเหมือนที่ Cisco เสนอ — ไม่อย่างนั้นใบรับรองที่ออกจะวัดสิ่งที่ adversary จริงไม่ใช้

แหล่งข่าว

• Frontier AI models collapse under multi-turn AI attacks, Cisco finds — Help Net Security
• Cisco report finds no closed frontier AI model is safe from multi-turn attacks — SiliconANGLE
• AI models more vulnerable than claimed when faced with iterative attacks — CSO Online
• Leading AI models are more vulnerable to malicious prompts than vendors claim — Cybersecurity Dive