Google เปิด Computer Use ใน Gemini API (พรีวิว) — ให้ Gemini 3.5 Flash คุมเบราว์เซอร์ มือถือ และเดสก์ท็อปได้โดยตรง

นักพัฒนาที่อยากให้ AI “ลงมือคลิกเอง” บนหน้าจอจริง — กรอกฟอร์ม กดปุ่ม ไล่หน้าเว็บ เปิดแอป — ก่อนหน้านี้ต้องไปต่อ harness ภายนอกหรือพึ่ง computer use ของ Anthropic / Operator ของ OpenAI เป็นหลัก เมื่อ 24 มิถุนายน 2026 Google เพิ่ม Computer Use tool เข้า Gemini API อย่างเป็นทางการในสถานะ public preview ทำให้เรียกใช้ความสามารถคุมหน้าจอได้ตรงจาก API เดียว โดยรันบนโมเดล Gemini 3.5 Flash

ในบรรทัด changelog ของ Gemini API เขียนชัดว่า รีลีสนี้มาพร้อม “simplified actions with intents,” รองรับสภาพแวดล้อม เบราว์เซอร์ มือถือ และเดสก์ท็อป ในตัว, มี safety policy ที่ปรับตั้งได้ และ prompt-injection detection ขั้นสูง — สามอย่างหลังคือสิ่งที่ทำให้ computer use ใช้งานจริงในโปรดักชันได้โดยไม่กลายเป็นช่องโหว่

Computer Use ทำอะไรได้บ้าง

ตามเอกสาร Computer Use โมเดลจะรับภาพหน้าจอ (screenshot) เป็น input แล้วตอบกลับมาเป็น action ที่จะลงมือทำ วนเป็นลูป screenshot → action ไปจนจบงาน:

• เบราว์เซอร์: คลิก พิมพ์ scroll ลาก กดคีย์ และ navigate เว็บ
• มือถือ (เน้น Android): เพิ่มคำสั่ง open_app และ list_apps เพื่อเปิด/ไล่แอป
• เดสก์ท็อป: สั่ง cursor ระดับ OS และมีคำสั่งจัดการ clipboard

จุดที่ Google เน้นว่าใหม่คือ “intents” — แทนที่จะสั่งทีละ pixel/พิกัดดิบ ๆ ตัว action ถูกห่อเป็นเจตนาที่อ่านง่ายและเสถียรกว่า ลดความเปราะของ agent เวลา layout หน้าจอขยับ

ความปลอดภัยถูกออกแบบมาเป็นชั้นแรก ไม่ใช่ของแถม

Computer use คือหนึ่งใน pattern ที่ อันตรายที่สุด ของ agent — เพราะโมเดล “เห็นอะไรก็ทำตามนั้น” ฉะนั้นถ้าหน้าจอมีคำสั่งซ่อนอยู่ (prompt injection ผ่านพิกเซล) agent อาจถูกหลอกให้โอนเงินหรือลบข้อมูลได้ Google จึงใส่กลไกมาให้:

• Prompt-injection detection: กลไกแบบ opt-in ที่สแกน “พิกเซลของ screenshot” เพื่อจับคำสั่งล่อลวงที่ฝังในภาพ
• Safety policies: มีหมวดความเสี่ยงในตัว 7 ประเภท (เช่น ธุรกรรมการเงิน การแก้/ลบข้อมูล การส่งข้อความสื่อสาร) ที่ผู้พัฒนา override ได้
• Human-in-the-loop: บังคับให้ยืนยันก่อนทำ action ที่อ่อนไหว
• เอกสารยังย้ำ best practice — รันใน sandbox, sanitize input, เก็บ log และทำ allowlist/blocklist ของโดเมน

นี่สะท้อนบทเรียนสด ๆ จากวงการ: เพียงไม่กี่วันก่อนมีรายงาน “Agentjacking” ที่ยิง error ปลอมเข้า Sentry เพื่อหลอก coding agent ให้รันโค้ดแฮกเกอร์สำเร็จถึง 85% — การที่ Google วาง prompt-injection detection เป็นฟีเจอร์ระดับแพลตฟอร์มตั้งแต่วันแรกจึงเป็นทิศที่ถูก

มุมมอง AI Curator

การที่ Google ดัน Computer Use เข้า Gemini API ทำให้ “ตลาด computer use” กลายเป็นสามเส้าเต็มตัว — Anthropic (Claude computer use), OpenAI (Operator/Codex desktop) และตอนนี้ Gemini 3.5 Flash การเลือก Flash ไม่ใช่โมเดลตัวท็อปเป็นสัญญาณที่อ่านได้ชัด: งาน computer use เป็นลูปยาวที่ต้องเรียกโมเดลซ้ำหลายสิบรอบต่อหนึ่งงาน ต้นทุนต่อ token และ latency จึงสำคัญกว่าความฉลาดดิบ — ใครทำให้ “ถูกและเร็วพอจะวนลูปได้” ชนะ ไม่ใช่ใครได้คะแนน benchmark สูงสุด

สำหรับนักพัฒนาไทย/SEA ที่งานจำนวนมากคือ automation ของระบบที่ ไม่มี API — กรอกข้อมูลในเว็บราชการ, ระบบ ERP/แบงก์รุ่นเก่า, แอปภายในที่ไม่เปิด integration — computer use คือทางลัดที่น่าสนใจกว่าการเขียน RPA แบบ XPath เปราะ ๆ แต่คำเตือนสำคัญ: อย่าเพิ่งเอาไปแตะงานที่เกี่ยวกับเงินหรือข้อมูลลูกค้าจริงในเฟสพรีวิว เปิด prompt-injection detection, รันใน sandbox, บังคับ human-in-the-loop กับทุก action ที่ย้อนกลับไม่ได้ และทดสอบกับข้อมูลปลอมก่อนเสมอ ความสะดวกของ “AI คลิกแทนเรา” มาคู่กับพื้นที่โจมตีใหม่ทั้งก้อน — ทีมที่ตั้ง guardrail ก่อนค่อยเร่งสปีด จะได้ทั้งความเร็วและความปลอดภัย

แหล่งข่าว:

• Gemini API release notes / changelog — Google AI for Developers (24 มิ.ย. 2026)
• Computer Use tool documentation — Google AI for Developers