Hirundo ทดสอบ Qwen3-Coder 30B-A3B: เขียนแอปให้ "ผู้รับเหมากลาโหมสหรัฐฯ" ถูกเจาะได้บ่อยกว่าให้ฝั่งจีน (70% vs 59%) — แต่เป็นงานเดียว จากบริษัทที่ขายวิธีแก้

บริษัท machine unlearning Hirundo เผยแพร่การทดลองเมื่อ 21 ต.ค. 2026 ว่า Qwen3-Coder-30B-A3B-Instruct ของ Alibaba เขียนโค้ดปลอดภัยน้อยลงเมื่อ prompt บอกว่าลูกค้าเป็นกลุ่มที่รัฐบาลจีนไม่ชอบ ทั้งที่งานและ test เหมือนเดิมทุกอย่าง ผลที่เด่นที่สุดคือแอปที่เขียนให้ “ผู้รับเหมากลาโหมสหรัฐฯ” ถูกเจาะสำเร็จ 70% เทียบกับ 59% ของ “ผู้รับเหมากลาโหมจีน” (p = 0.03)

งานนี้ติดอันดับบน Hacker News เพราะแตะคำถามที่ทีมซึ่งรันโมเดลเปิดจากจีนในเครื่องตัวเองกังวลกันอยู่แล้ว แต่ก่อนจะสรุปว่า “Qwen ฝังประตูหลัง” ต้องดูว่าการทดลองนี้วัดอะไรได้และวัดอะไรไม่ได้

วิธีทดลอง

• งาน: SecretStorage จาก BaxBench เป็นบริการ Flask ให้ผู้ใช้สมัคร ล็อกอิน และเก็บความลับส่วนตัว ใช้ prompt และ test ตามต้นฉบับ
• ตัวแปรเดียวที่เปลี่ยน: ประโยคบอกว่าลูกค้าเป็นใคร มี neutral (380 แอป), ผู้รับเหมากลาโหมสหรัฐฯ, ผู้รับเหมากลาโหมจีน และกลุ่มรณรงค์ประชาธิปไตยฮ่องกง (กลุ่มละ 190 แอป) รวม 1,840 แอป รันที่ temperature 0.6
• ตัววัด: “hackable” หมายถึง attack ของ BaxBench สำเร็จอย่างน้อยหนึ่งแบบ ส่วน “leaks secrets” หมายถึงผู้ใช้ที่ล็อกอินแล้วอ่านความลับของคนอื่นได้ (broken object-level authorization)

ผลหลัก ทุกคู่เปรียบเทียบเป็น Fisher exact test แบบสองทาง:

เปรียบเทียบ (โมเดลต้นฉบับ)	ผล
ผู้รับเหมาสหรัฐฯ vs จีน — ถูกเจาะได้	70% vs 59% (p = 0.03)
กลุ่มฮ่องกง vs neutral — อ่านความลับคนอื่นได้	เกือบครึ่ง vs ราวหนึ่งในสาม (p = 0.024)
ผู้รับเหมาสหรัฐฯ vs neutral แม้สั่งให้เขียนอย่างปลอดภัย	74% vs 59% (p = 0.03)

จากนั้น Hirundo ใช้ behavioral unlearning ลบ alignment แบบ CCP ออกจาก weights แล้วรันซ้ำ ช่องว่างเหลือ +3%, −15% และ +1% ซึ่งไม่มีนัยสำคัญทางสถิติทั้งหมด บน benchmark การเมือง CCPC-500 ของบริษัทเอง อัตราคำตอบแบบเซ็นเซอร์หรือตามแนว CCP ลดจาก 46.6% เหลือ 4% และเมื่อรันอีก 10 งานของ BaxBench (300 แอปต่อโมเดล) ทั้งสองเวอร์ชันถูกเจาะได้ 25% เท่ากัน โมเดลที่แก้แล้วเผยแพร่บน Hugging Face เป็น hirundo-io/Qwen3-Coder-30B-A3B-Instruct-Westernized (Apache-2.0)

ข้อจำกัดที่ต้องอ่านคู่กัน

• เป็นงานเดียว ผลเชิงลึกทั้งหมดมาจาก SecretStorage งานเดียว การทดสอบ 10 งานที่กว้างกว่าไม่ได้แยกผลตาม persona
• โมเดลเล็กเขียนโค้ดไม่ปลอดภัยอยู่แล้ว แม้ลูกค้า neutral ก็ถูกเจาะได้ 59% Hirundo เขียนเองว่า “AI-written code often has flaws, and a compact model like this one more so”
• หลายคู่เปรียบเทียบ มีหลาย persona หลายตัววัด แต่รายงาน p-value ราว 0.02–0.03 โดยไม่ได้บอกว่าแก้ multiple comparisons ผลระดับนี้เสี่ยงเป็น false positive ได้
• ผลประโยชน์ทับซ้อน Hirundo ขายบริการ unlearning ที่เป็น “วิธีแก้” ในบทความเอง และ CCPC-500 ก็เป็น benchmark ของบริษัท บทความไม่ได้บอกว่าเปิด prompt, โค้ด หรือแอปที่สร้างให้คนอื่นตรวจซ้ำ
• ไม่ได้อ้างว่าเป็นความตั้งใจ Hirundo เขียนว่า “We can’t say whether anyone put it there on purpose”

มุมมอง AI Curator

ผลนี้ไม่ได้พิสูจน์ว่ามีประตูหลัง แต่ทำให้สมมติฐานที่ CrowdStrike เคยรายงานเรื่อง DeepSeek น่าเชื่อขึ้น คือ alignment ทางการเมืองอาจรั่วจากการตอบคำถามไปถึงคุณภาพโค้ด โดยไม่มีใครตั้งใจ ส่วนที่น่าสนใจที่สุดในเชิงกลไกคือช่องว่างหายไปหลัง unlearning ถ้าผลนี้ทำซ้ำได้ ก็แปลว่าพฤติกรรมนี้ผูกกับสิ่งที่โมเดลเรียนมาเรื่อง “ใครเป็นฝ่ายไหน” ไม่ใช่กับความสามารถเขียนโค้ด แต่ด้วยข้อจำกัดข้างบน ตอนนี้ควรนับเป็นสัญญาณที่ต้องมีคนทำซ้ำ ยังไม่ใช่ข้อสรุป

สำหรับทีมไทยที่ใช้ Qwen หรือโมเดลจีนอื่นเป็น coding model ในเครื่อง (ซึ่งพบบ่อยเพราะคุ้มที่สุดต่อ VRAM) บทเรียนที่ใช้ได้จริงมีสองข้อ ข้อแรก อย่าใส่บริบทลูกค้าที่ไม่จำเป็นใน prompt เพราะชื่อหน่วยงานรัฐหรือเรื่องการเมืองเป็นตัวแปรที่ไม่ช่วยให้โค้ดดีขึ้นเลย แต่อาจทำให้แย่ลง ข้อสอง ตัวเลขที่สำคัญกว่าในบทความคือ ฐาน 59% ที่ถูกเจาะได้แม้ลูกค้าเป็นกลาง และ Semgrep กับกฎ PurpleLlama จับได้แค่ 2 จาก 1,840 แอป ขณะที่ attack จริงเจาะได้ 1,144 แอป แปลว่าเรื่องที่ต้องกังวลก่อน bias คือ static analysis ไม่พอสำหรับโค้ดที่ AI เขียน ต้องมี test ด้าน authorization จริงทุกครั้ง ไม่ว่าโมเดลจะมาจากประเทศไหน

แหล่งข่าว

• Qwen3-Coder vulnerabilities by customer persona — Hirundo Blog (21 ต.ค. 2026)
• hirundo-io/Qwen3-Coder-30B-A3B-Instruct-Westernized — Hugging Face
• Qwen/Qwen3-Coder-30B-A3B-Instruct — Hugging Face