ข้ามไปยังเนื้อหา

แท็ก

#human-computer-interaction

1 บทความ

DeepMind 'reimagine the mouse pointer' — research blog เปิด 4 หลักการของ AI-enabled cursor: maintain the flow, show and tell, power of 'this/that', turn pixels into entities
งานวิจัย

DeepMind 'reimagine the mouse pointer' — research blog เปิด 4 หลักการของ AI-enabled cursor: maintain the flow, show and tell, power of 'this/that', turn pixels into entities

ทีม Google DeepMind ปล่อย research blog **'Shaping the future of AI interaction by reimagining the mouse pointer'** เมื่อ **12 พ.ค. 2026** — เป็น research piece ที่อธิบาย principle เบื้องหลัง **Magic Pointer** ที่ Google ใส่ใน Chrome (เริ่มวันนี้) และ Googlebook (ของออกฤดูใบไม้ร่วง) DeepMind วาง 4 หลักการ: (1) **Maintain the flow** — AI ต้องเข้ามาในงานปัจจุบัน ไม่ใช่ดึง user ไปหน้าต่างใหม่, (2) **Show and tell** — pointer เห็นสิ่งที่ user ชี้ ไม่ต้อง screenshot/แปะลิงก์, (3) **Power of 'this' and 'that'** — language ที่ ground กับ visual context ทำให้ prompt สั้นกว่าและตรงกว่า, (4) **Turn pixels into actionable entities** — Gemini ต้องเข้าใจว่า object ใต้ cursor คืออะไรเชิง semantic (วันที่, รูป, ราคา, address) ไม่ใช่แค่ bounding box โพสต์มาพร้อม interactive demo และ video showing visualizing furniture, comparing products, summarizing PDF, doubling recipe ingredients — เป็น research output ที่ผูก HCI กับ multimodal LLM โดยตรง

· อ่าน 5 นาที