GitHub Copilot CLI และ Copilot app ได้ computer use แบบ public preview — คลิกแอปเดสก์ท็อปแทนเราได้ พร้อม "dynamic workflows" ที่เขียน orchestration ของหลายเอเจนต์เป็นโค้ด

1 ต.ค. 2026 GitHub ลง changelog สองรายการติดกันที่เปลี่ยนบทบาทของ Copilot บนเครื่องนักพัฒนา รายการแรกคือ computer use ซึ่งให้ Copilot CLI และ GitHub Copilot app ควบคุมแอปเดสก์ท็อปแทนเราได้ ทั้งอ่านเนื้อหาผ่าน accessibility tree หรือภาพหน้าจอ คลิกปุ่ม พิมพ์และแก้ข้อความ กดคีย์ เลื่อน และลาก ตอนนี้อยู่ในสถานะ public preview บน macOS และ Windows รายการที่สองคือ dynamic workflows ซึ่งให้เรากำหนดขั้นตอนการทำงานที่มีหลายเอเจนต์ไว้ในโค้ด แทนที่จะปล่อยให้โมเดลวางแผนใหม่ทุกครั้ง

ทั้งสองอย่างเป็นแนวทางที่ค่ายอื่นทำมาก่อนแล้ว แต่ข้อต่างคือ GitHub ทำให้ใช้ได้ในเครื่องมือที่นักพัฒนาจำนวนมากมีอยู่แล้ว และ dynamic workflows เปิดให้ทุกแพลนของ Copilot

Computer use: สำหรับซอฟต์แวร์ที่ไม่มี API

GitHub ระบุกลุ่มเป้าหมายไว้ตรง ๆ ว่าเป็นงานใน “ซอฟต์แวร์ legacy หรือซอฟต์แวร์ที่มีแต่ GUI ซึ่งไม่มี API, CLI หรือ MCP integration” ตัวอย่างในเอกสารคือ สรุปข้อมูลจากแอปเดสก์ท็อปเก่า แก้สไลด์ กรอกข้อมูลในโปรแกรมที่มีแต่หน้าจอ หรือย้ายข้อมูลระหว่างแอปหลายตัว เอกสารยังเขียนกำกับไว้ด้วยว่า ถ้ามี API, MCP server, คำสั่ง terminal หรือ browser tool ที่ทำงานนั้นได้ ให้ใช้เครื่องมือเหล่านั้นก่อน เพราะได้ข้อมูลที่มีโครงสร้างและผลลัพธ์ที่คาดเดาได้มากกว่า

วิธีเปิดใช้:

• Copilot CLI: /computer on เพื่อเปิด, /computer show เพื่อดูสถานะ, /computer off เพื่อปิด
• Copilot app: Settings → Computer Use → Enable Computer Use (หรือพิมพ์ /computer on)
• บน macOS ตัวโปรแกรมจะพาไปขอสิทธิ์ Accessibility และ Screen Recording
• กด Esc สองครั้งใน CLI หรือกด Stop ในแอปเพื่อหยุดกลางคัน

สิทธิ์และความเสี่ยงที่ควรรู้

ฟีเจอร์นี้ปิดไว้เป็นค่าเริ่มต้น และทำตาม tool permission ของแต่ละ surface ก่อนควบคุมแอปใด Copilot จะถามว่าอนุญาตเฉพาะ session นี้ อนุญาตถาวร หรือปฏิเสธ จุดที่ต้องระวังมีดังนี้:

• การเลือก Always allow จะถูกบันทึกไว้ในเครื่อง และมีผลทั้งใน CLI และในแอปบนเครื่องเดียวกัน หลังจากนั้นเอเจนต์จะควบคุมแอปนั้นได้โดยไม่ถามอีก
• การถอนสิทธิ์ในแอปไม่ได้ยกเลิกสิทธิ์ของ session ที่กำลังรันอยู่ มีผลกับ session ถัดไปเท่านั้น
• กฎที่ deny tool มีลำดับความสำคัญสูงกว่าการอนุมัติทุกแบบ และผู้ดูแลระดับองค์กรปิดฟีเจอร์นี้ได้ผ่าน managed settings
• เอกสารเตือนเองว่าเอเจนต์อาจกดผิดปุ่ม พิมพ์ผิดช่อง หรือทำซ้ำเมื่อจังหวะเวลาหรือสถานะหน้าต่างเปลี่ยน และเนื้อหาที่ไม่คาดคิดบนหน้าจออาจทำให้เกิดการกระทำที่ไม่ได้ตั้งใจ ซึ่งก็คือความเสี่ยงแบบ prompt injection ผ่านหน้าจอ

Dynamic workflows: เขียน orchestration เป็นโค้ด

dynamic workflow คือโปรแกรมที่อยู่ใน Copilot extension ทำหน้าที่กำหนดว่างานหนึ่งจะทำอย่างไร ทั้งขั้นตอนอัตโนมัติ การรันคำสั่ง การเรียก tool หรือบริการอื่น การแบ่งงานให้ subagent ทำขนานกัน การส่งผลลัพธ์ที่มีโครงสร้างต่อไปยังขั้นถัดไป การให้ subagent ตรวจผลของกันและกัน และการหยุดรอที่ checkpoint ให้คนตรวจก่อนแล้วค่อยรันต่อ โค้ดเป็นตัวกำหนดลำดับขั้นตอน ส่วนเอเจนต์รับผิดชอบเฉพาะส่วนที่ต้องใช้การวิเคราะห์หรือการตัดสินใจ

GitHub แยกความต่างจากฟีเจอร์เดิมไว้ชัดเจน: autopilot ให้ Copilot ทำงานต่อไปเรื่อย ๆ โดยไม่หยุดถาม, /fleet ให้ Copilot ตัดสินใจเองทุกครั้งว่าจะแตกงานให้ subagent อย่างไร ส่วน dynamic workflow ทำตามขั้นตอนที่ผู้เขียนกำหนดไว้ ผลจึงออกมาเหมือนเดิมทุกครั้ง ตัวอย่างใน changelog ที่น่าสนใจคือ ใช้โค้ดหา review comment ที่ยังไม่ได้แก้ใน PR ที่ merge ไปแล้ว ส่งให้สองโมเดลประเมินว่ายังสำคัญอยู่หรือไม่ แล้วรายงานเฉพาะข้อที่ทั้งสองโมเดลเห็นตรงกัน

• ใน Copilot app ใช้ได้ทันที ส่วนใน Copilot CLI ต้องเปิด experimental ก่อน (--experimental หรือ /experimental on)
• ให้ Copilot เขียน workflow ให้ก็ได้ หรือเขียนเองโดยใช้คู่มือที่มากับตัวโปรแกรม
• รันจาก terminal ได้โดยตรงด้วย copilot workflow run WORKFLOW-NAME คำสั่งนี้จะรอจนงานเสร็จ จึงใส่ไว้ในสคริปต์หรือ pipeline CICD ได้
• เอเจนต์จะสร้างหรือรัน workflow ก็ต่อเมื่อเราสั่งให้ทำ หรือเมื่อ skill/slash command สั่งเท่านั้น

มุมมอง AI Curator

สองฟีเจอร์นี้เดินไปคนละทาง computer use ขยายสิ่งที่เอเจนต์เข้าถึงได้ ไปถึงทุกอย่างที่อยู่บนหน้าจอ ส่วน dynamic workflows จำกัดว่าเอเจนต์ทำอะไรได้ ให้อยู่ในกรอบที่เขียนเป็นโค้ด ผมมองว่าอย่างหลังสำคัญกว่าในระยะยาว เพราะปัญหาที่ทีมส่วนใหญ่เจอกับ coding agent ไม่ใช่ความสามารถไม่พอ แต่เป็นการที่รันงานเดียวกันสองรอบแล้วได้ผลคนละแบบ การนิยามขั้นตอนเป็นโค้ด กำหนด checkpoint และให้สองโมเดลตรวจกันเอง คือการนำแนวคิด CICD มาใช้กับงานของเอเจนต์ และคำสั่ง copilot workflow run ก็ทำให้ใส่ไว้ใน pipeline ได้ทันที

computer use ควรใช้อย่างระมัดระวัง สำหรับองค์กรไทย กรณีที่น่าสนใจที่สุดคือระบบภายในเก่าที่มีแต่หน้าจอ เช่น ERP, โปรแกรมบัญชี หรือระบบหน่วยงานรัฐที่ไม่มี API ซึ่ง RPA เคยพยายามแก้มาหลายปี แต่ระบบประเภทนี้มักมีข้อมูลการเงินและข้อมูลส่วนบุคคล ซึ่ง PDPA เกี่ยวข้องโดยตรง ภาพหน้าจอที่เอเจนต์อ่านจะถูกส่งเป็น context ให้โมเดล ผมแนะนำว่าอย่ากด Always allow กับแอปที่มีข้อมูลลูกค้า ทีม IT ควรกำหนด managed settings ก่อนที่พนักงานจะเปิดใช้เอง และหลังกรณี PixelLeak ที่เพิ่งเป็นข่าวเมื่อวาน (เอเจนต์อัปโหลดภาพหน้าจอภายในบริษัทขึ้น repo สาธารณะกว่า 13,000 ภาพ) ควรถือว่าทุกอย่างที่เอเจนต์ “เห็น” บนหน้าจออาจหลุดออกไปได้

แหล่งข่าว

• GitHub Copilot can now interact with desktop apps with computer use — GitHub Changelog (1 ต.ค. 2026)
• Dynamic workflows in Copilot CLI and the Copilot app — GitHub Changelog (1 ต.ค. 2026)
• About computer use in GitHub Copilot — GitHub Docs
• Dynamic workflows — GitHub Docs