Google DeepMind ทดสอบ Gemini แบบ double-blind ครั้งแรก — ขังโมเดลกับชุดข้อสอบไว้ใน enclave เดียวกัน โดยสองฝ่ายมองของอีกฝ่ายไม่เห็น
27 สิงหาคม 2026 Google DeepMind เผยแพร่บทความ Piloting the world’s first double-blind AI evaluations โดย William Isaac, Sol Messing และ Kristian Lum ประกาศสิ่งที่ทีมเรียกว่า การประเมินโมเดล AI ระดับ frontier แบบปิดตาสองฝ่ายครั้งแรกของวงการ
โจทย์ที่แก้อยู่คือปัญหาที่ทุกคนในวงการรู้แต่แก้ไม่ตก — benchmark contamination หรือการที่โมเดลเคยเห็นข้อสอบมาก่อน บทความเปรียบเทียบไว้ตรงไปตรงมาว่าเหมือนนักเรียนที่บังเอิญแอบเห็นข้อสอบล่วงหน้า คะแนนเต็มที่ได้ก็ไม่มีความหมาย และนี่คือเหตุผลที่ตัวเลขบนเบนช์มาร์กสาธารณะทุกวันนี้ถูกตั้งคำถามมากขึ้นเรื่อย ๆ
ทางเลือกเดิมมีแค่สองทาง และทั้งสองทางแย่
จุดที่บทความอธิบายได้ดีที่สุดคือการวางกรอบปัญหา: การประเมินภายนอกที่มีเดิมพันสูงในอดีตต้องเลือกอย่างใดอย่างหนึ่ง
- ผู้ประเมินส่งพรอมป์ทดสอบให้เจ้าของโมเดล — เสี่ยงที่เจ้าของโมเดลจะได้เห็นข้อสอบล่วงหน้า และชุดทดสอบที่ลงทุนสร้างมาก็หมดค่าไปตลอดกาล
- เจ้าของโมเดลส่งน้ำหนักโมเดลให้ผู้ประเมิน — เสี่ยงต่อทรัพย์สินทางปัญญาที่แพงที่สุดของบริษัท
ที่ผ่านมาวงการแก้ปัญหานี้ด้วย โปรโตคอลไม่บันทึกล็อก (zero-logging) และสัญญาทางกฎหมาย ซึ่ง DeepMind ยอมรับเองในบทความว่ามันทำงานได้ แต่เป็นการรับประกันที่วางอยู่บน “ความไว้ใจ” ไม่ใช่บนหลักฐาน สิ่งที่เพิ่มเข้ามาคราวนี้คือ การรับประกันเชิงเทคนิคและเชิงการเข้ารหัส ที่พิสูจน์ได้
กลไก: enclave ที่ทั้งสองฝ่ายเข้าไปดูไม่ได้
DeepMind ใช้ Confidential Space ซึ่งอยู่ในชุดผลิตภัณฑ์ Confidential Computing ของ Google Cloud เป็นสภาพแวดล้อมที่หน่วยความจำถูกเข้ารหัสด้วยฮาร์ดแวร์ และสามารถ ยืนยันตัวตนของสภาพแวดล้อม (remote attestation) ให้ทั้งสองฝ่ายตรวจสอบได้ว่าโค้ดที่รันอยู่ข้างในคือโค้ดที่ตกลงกันไว้จริง
ผลลัพธ์คือทั้งสองฝ่ายส่งของเข้าไปในกล่องเดียวกัน แล้วได้ออกมาแค่ผลลัพธ์:
- ผู้ประเมินมองน้ำหนักโมเดล Gemini ไม่เห็น
- Google มองพรอมป์ทดสอบของผู้ประเมินไม่เห็น
พาร์ตเนอร์ที่ร่วมนำร่องมีสี่ราย — AI Safety Institute ของสิงคโปร์, OpenMined (องค์กรไม่แสวงกำไรด้าน privacy-preserving computation เจ้าของ PySyft), AVERI และ MLCommons โดยโมเดลที่ทดสอบคือ Gemini Flash Lite รุ่นหนึ่ง
ตรงนี้ต้องระบุให้ชัดว่า บทความของ DeepMind เองไม่ได้ลงรายละเอียดว่าใช้ฮาร์ดแวร์รุ่นใด ชุดเบนช์มาร์กใด หรือได้คะแนนเท่าไร — สิ่งที่มีคือลิงก์ไปยัง technical report ที่บอกวิธีการและผลลัพธ์ TechRepublic รายงานเมื่อ 28 ส.ค. ว่ารุ่นที่ทดสอบคือ Gemini 2.5 Flash Lite ประเมินโดย AVERI ด้วยพรอมป์ที่กันไว้จากชุดความปลอดภัย AILuminate ของ MLCommons (ครอบคลุมการโจมตีไซเบอร์ อันตรายเคมี-ชีวภาพ hate speech การทำร้ายตัวเอง และการชักจูงสู่อาชญากรรมรุนแรง) รันบน Google Cloud A3 Confidential VM ที่ใช้ Intel TDX เข้ารหัสหน่วยความจำโฮสต์ คู่กับ NVIDIA H100 Confidential GPU ส่วน AI Safety Institute ของสิงคโปร์ทดสอบแยกด้วยพรอมป์ลับที่เน้นเนื้อหาอันตรายในบริบทของสิงคโปร์ — รายละเอียดชุดนี้เป็นการรายงานของสื่อ ไม่ใช่ข้อความในประกาศต้นทาง
สิ่งที่ประกาศนี้ยังไม่ได้ให้
ต้องพูดให้ตรงว่า ไม่มีคะแนนถูกเผยแพร่ ประกาศนี้เป็นเรื่องของ วิธีการ ล้วน ๆ ไม่ใช่ผลลัพธ์ ไม่มีตัวเลขว่า Gemini 2.5 Flash Lite ทำได้เท่าไรบน AILuminate ไม่มีการเทียบกับโมเดลอื่น และไม่มีตัวเลข overhead ว่าการรันใน enclave ช้าลงกี่เปอร์เซ็นต์เทียบกับการรันปกติ ซึ่งเป็นตัวเลขที่ทีมวิศวกรรมทุกทีมอยากรู้ก่อนพิจารณานำไปใช้
ข้อจำกัดเชิงโครงสร้างที่ใหญ่กว่านั้นคือ enclave ทั้งหมดรันอยู่บนโครงสร้างพื้นฐานของ Google Cloud ซึ่งเป็นของฝ่ายที่ถูกประเมินเอง การรับประกันจึงอยู่ที่ attestation ระดับฮาร์ดแวร์ของ Intel TDX และ NVIDIA — ไม่ใช่ที่ความเป็นกลางของผู้ให้บริการ นี่ไม่ใช่ข้อบกพร่องของแนวคิด แต่เป็นสิ่งที่ต้องระบุเวลาพูดว่า “ไม่ต้องไว้ใจกัน” เพราะยังต้องไว้ใจผู้ผลิตชิปอยู่ดี
ทิศทางต่อไปที่ DeepMind ระบุคือผลักให้ double-blind evaluation กลายเป็นมาตรฐานของวงการ โดยเฉพาะกับการประเมินที่อ่อนไหวสูง เช่น ด้านความมั่นคงไซเบอร์ และการประเมินโดยหน่วยงานรัฐ
มุมมอง AI Curator
สิ่งที่ทำให้ข่าวนี้สำคัญกว่าที่หน้าตาของมันบอก คือมันเกิดขึ้นในสัปดาห์เดียวกับที่วงการกำลังเถียงเรื่องความน่าเชื่อถือของเบนช์มาร์กพอดี — เมื่อวานเราเพิ่งเขียนถึง Terminal-Bench-Science ที่ทุกโมเดลร่วงเกิน 10 จุดจากเบนช์รุ่นก่อน และวันนี้เราก็เขียนถึงชุดทดสอบ ASR ชุดใหม่ที่แยก private split ไว้เพื่อกันการปรับจูนเข้าหาเบนช์ ทั้งสามเรื่องพูดปัญหาเดียวกันจากคนละมุม: ตัวเลขบนตารางกำลังสูญเสียความหมาย และวงการกำลังหาทางกู้มันคืน
มุมที่ผมคิดว่าคนไทยควรจับตาเป็นพิเศษคือ การมีชื่อ AI Safety Institute ของสิงคโปร์อยู่ในพาร์ตเนอร์สี่รายแรกของโลก สิงคโปร์ไม่ได้เข้ามาเพราะมี GPU เยอะที่สุดหรือมีโมเดลของตัวเอง แต่เพราะสร้าง สถาบันที่มีความสามารถทางเทคนิคพอจะเป็นคู่สัญญาในการประเมินโมเดลระดับ frontier ได้ และเมื่อวิธีการแบบนี้กลายเป็นมาตรฐาน ประเทศที่มีสถาบันแบบนี้จะเป็นประเทศที่ ได้เห็นความสามารถจริงของโมเดลก่อนใคร และได้กำหนดว่าคำถามอะไรควรอยู่ในข้อสอบ — รวมถึงคำถามเรื่องเนื้อหาอันตรายในบริบทภาษาและวัฒนธรรมของตัวเอง ซึ่งเป็นสิ่งที่ผู้ประเมินอเมริกันไม่มีทางเขียนแทนได้
ไทยยังไม่มีหน่วยงานเทียบเท่า และนี่คือช่องว่างที่จะแพงขึ้นเรื่อย ๆ เมื่อการกำกับดูแล AI เริ่มผูกกับ “ผลการประเมินจากสถาบันที่รับรอง” ไม่ใช่แค่การประกาศตัวของผู้ผลิต การประเมินความปลอดภัยของโมเดลบนพรอมป์ภาษาไทยที่เกี่ยวกับกฎหมายไทย บริบทสังคมไทย และภัยหลอกลวงแบบที่พบในไทย จะไม่มีใครทำให้ ถ้าเราไม่มีฝ่ายที่พร้อมนั่งอีกฝั่งของ enclave
ในเชิงเทคนิค สิ่งที่น่าสนใจสำหรับนักพัฒนาคือ นี่คือกรณีใช้งานจริงระดับ production ครั้งแรก ๆ ของ confidential GPU computing ที่ไม่ใช่แค่สไลด์ขายของ ถ้ารูปแบบนี้เวิร์ก มันไม่ได้ใช้ได้แค่กับการประเมินโมเดล — มันคือแม่แบบเดียวกับที่ทีมในไทยสามารถใช้เพื่อให้ผู้ให้บริการโมเดลรันบน ข้อมูลผู้ป่วย ข้อมูลธุรกรรม หรือข้อมูลราชการ ได้โดยที่ข้อมูลไม่ออกจาก enclave และเจ้าของข้อมูลตรวจสอบได้ด้วย attestation ว่าโค้ดที่รันคือโค้ดที่ตกลงกันไว้ ตัวเลข overhead ที่ยังไม่เปิดเผยคือสิ่งเดียวที่กั้นระหว่าง “แนวคิดที่ดี” กับ “ของที่เอาไปเสนอผู้บริหารได้”
แหล่งข่าว
- Piloting the world’s first double-blind AI evaluations — Google DeepMind (27 ส.ค. 2026)
- Google Cloud — Confidential Computing และ Confidential Space
- TechRepublic — รายละเอียดฮาร์ดแวร์และชุดเบนช์มาร์กที่ใช้ (28 ส.ค. 2026)
- OpenMined — Secure Enclaves for AI Evaluation (การนำร่องรุ่นก่อนหน้ากับ UK AISI)
อ่านเพิ่มในหมวด งานวิจัย
Anthropic ให้ Claude สร้างชุดข้อมูลที่ดูไร้พิษภัยแต่ทำโมเดลเบี้ยว ซ่อนในเรื่องเลี้ยงผึ้งและมวยปล้ำ จนผ่านระบบตรวจที่คล้ายของจริง
ทีม Alignment ของ Anthropic ให้ Claude ปีนหาชุดข้อมูล fine-tune ที่หลบ monitor ได้ ผลคือซ่อนพฤติกรรมในงานเขียนแนวบทบาทสมมติ และโมเดลที่เทรนแล้วนำไปใช้ในบุคลิกตัวเอง ผลซ้ำได้บน Qwen 3.6 27B แต่การทดลองเอื้อฝ่ายโจมตีมากและไม่ได้สะท้อนโมเดลที่ใช้งานจริง
Memdoor ทำซ้ำ GVS5H ได้: ทีม Qwen3.8-27B ห้าตัวตามทัน Fable 5 บนโจทย์ LiveCodeBench Hard แต่ผู้ทำบอกเองว่า 'เท่า' ไม่ใช่ 'ชนะ'
Memdoor ปล่อย workflow team-solve ที่เขียนวิธี GVS5H เป็น YAML ล้วนและทำคะแนน 9.8/10 บน LiveCodeBench Hard 10 ข้อ เทียบกับ 8.0 ของ Fable 5 แบบเรียกครั้งเดียว แต่ตัวอย่างเล็กและมีข้อจำกัด ส่วนงานวิจัยต้นฉบับชี้ว่าวิธีนี้ไม่ได้ช่วยทุกโมเดล
QwenPU รัน LLM ซ้อนใน LLM ด้วยหน่วยเวกเตอร์ที่คอมไพล์ลงในน้ำหนัก Qwen3.5-4B ส่วน bootgpt ทำให้เครื่อง 386 บูตเข้าโมเดลภาษาโดยไม่มี OS
ผู้สร้าง Qwenputer ปล่อย QwenPU เมื่อ 31 ต.ค. รัน stories260K ของ Karpathy บนหน่วยเวกเตอร์ที่คอมไพล์ลงในน้ำหนัก Qwen3.5-4B ลดเหลือ 53,000 trace token ต่อหนึ่ง token เรื่องเล่า วันเดียวกัน bootgpt ใส่โมเดล int8 ขนาด 11.5KB ให้บูตบนเครื่อง 386 โดยไม่มี OS