เอาเครื่องมือสร้าง Agent Skill อัตโนมัติ 4 ตัวมาวัดกันบน CL-Bench แล้วพบว่าทุกตัวได้คะแนนต่ำกว่า 'ไม่ใส่ skill เลย' — รวมถึง Skill-Creator ของ Anthropic

Agent Skills กลายเป็นวิธีมาตรฐานในการอัดความรู้เฉพาะทางเข้าไปในตัว agent โดยไม่ต้องเทรนโมเดลใหม่ และตามมาด้วยเครื่องมือ “สร้าง skill ให้อัตโนมัติ” อีกเป็นสิบตัว คำถามที่แทบไม่มีใครวัดกันจริงจังคือ: skill ที่เครื่องมือพวกนี้เขียนออกมา ทำให้ agent เก่งขึ้นจริงหรือเปล่า

เปเปอร์ Progressive Agent Skill Generation via Reinforcement Learning (arXiv:2608.01678, 3 ส.ค.) จาก Junhao Shen และ Hong Cheng แห่ง CUHK ร่วมกับ Zhanqiu Zhang (LIGHTSPEED) และ Yiwen Guo วัดให้ดู — และคำตอบในตารางเปรียบเทียบนั้นแรงกว่าวิธีการที่เขาเสนอเสียอีก

บน CL-Bench เครื่องมือสร้าง skill ทั้ง 4 ตัวแพ้ “ไม่ใส่ skill”

ในการทดสอบ document-to-skill บน CL-Bench โดยใช้ GPT-4o เป็น worker และ GPT-5.5 เป็นกรรมการตัดสินตาม rubric ทางการของ benchmark ค่าเฉลี่ย 4 หมวดออกมาเป็นแบบนี้:

วิธี	CL-Bench Avg. (GPT-4o)
NO SKILL (ไม่ใส่ skill เลย)	8.57
Anthropic Skill-Creator	7.01
Progressive Prompt Skill	7.11
Ctx2Skill	7.07
AutoSkill	6.37
Skill-α (ของทีมนี้)	10.38

อ่านไม่ผิดครับ — เครื่องมือสร้าง skill อัตโนมัติทั้งสี่ตัว รวมถึง Skill-Creator ที่ Anthropic เผยแพร่เอง ทำให้ GPT-4o ทำงานได้ แย่ลง กว่าการไม่ใส่ skill อะไรเลย โดย AutoSkill ตกไปถึง 6.37

พอเปลี่ยน worker เป็น Claude Sonnet 4.5 ภาพดีขึ้นบ้าง (NoSkill 7.70 vs AutoSkill 8.40, Ctx2Skill 8.21) แต่ Skill-Creator ก็ยังอยู่ที่ 7.31 คือต่ำกว่าไม่ใส่ skill อยู่ดี ส่วน Skill-α ขึ้นนำที่ 9.55 และเป็นที่หนึ่งหรือเสมอที่หนึ่งทั้งสี่หมวด

ต้องบอกไว้ตรง ๆ ว่าค่าสัมบูรณ์บน CL-Bench ต่ำมากทุกตัว (เลขหลักเดียวถึงสิบต้น ๆ) เพราะเป็น benchmark ที่ยากและตัดสินด้วย rubric เข้ม ๆ ระยะห่างระหว่างวิธีจึงควรอ่านเป็นอันดับ ไม่ใช่ “ดีขึ้นกี่เท่า” แต่ข้อสรุปเชิงทิศทางยังชัด: skill ที่เขียนไม่ดีไม่ได้แค่ไม่ช่วย มันกินพื้นที่ context และหลอกทิศทาง agent ได้จริง

ฝั่ง experience-to-skill ช่องว่างกว้างกว่า

บน tau2-bench (Airline / Retail / Telecom) และ SpreadsheetBench ซึ่งสร้าง skill จาก trajectory การรันจริงของ GPT-4o ผลชัดกว่ามาก โดยเทียบกับ baseline ถึง 8 ตัวรวม ExpeL, Agent Workflow Memory, Trace2Skill, SkillX และ SkillPro:

วิธี (worker = GPT-4o)	SpreadsheetBench	tau2-bench Avg.
NO SKILL	18.00	33.33
Anthropic Skill-Creator	26.00	40.83
SkillX	18.50	46.00
SkillPro	15.50	49.17
Skill-α	27.50	55.83

ที่สำคัญคือ skill เหล่านี้ ถ่ายโอนข้ามโมเดลได้ — เอา skill ชุดเดิมที่สร้างจาก trajectory ของ GPT-4o ไปใส่ให้ Claude Sonnet 4.5 ใช้ tau2-bench ยังขึ้นจาก 63.33 เป็น 70.33 ทั้งที่ Sonnet 4.5 มี baseline สูงอยู่แล้ว (ในบล็อกนี้ Progressive Prompt Skill 61.67, AWM 61.00 และ ExpeL 61.83 ก็ยังต่ำกว่า NoSkill อีกเช่นกัน)

วิธีการ: เขียน skill เป็น “การแก้ทีละจุด” แล้วให้รางวัลด้วยการย้อนเทียบ

จุดที่ Skill-α ต่างจากตัวอื่นคือมันไม่ได้ให้โมเดลเขียน skill รวดเดียวจบ แต่มองการสร้าง skill เป็น ลำดับของการแก้ไขทีละจุดที่ประเมินแยกได้ โดยนโยบายเลือกได้ 5 แอ็กชัน: CREATE, UPDATE, MERGE, PRUNE, NOOP

สัญญาณเทรนคือ rollback reward: พอลองแก้ไปหนึ่งจุด ระบบจะเอา skill เวอร์ชันเดิมกับเวอร์ชันที่แก้แล้ว ไปรันบน anchored query อันเดียวกันด้วย worker ตัวเดียวกัน แล้วให้กรรมการเทียบผลลัพธ์ — reward จึงสะท้อนผลของ “การแก้จุดนั้นจุดเดียว” ต่อพฤติกรรมปลายทางจริง ๆ ซึ่งเป็นการแก้ปัญหาที่เปเปอร์ระบุว่าเป็นอุปสรรคหลักของงานสายนี้ คือ skill ไม่มีสัญญาณ supervision ตามธรรมชาติแบบโจทย์คณิตศาสตร์ที่มีคำตอบถูกผิดชัดเจน

ตัวสร้าง skill คือ Qwen3-8B แบบ instruction-tuned ที่ warm-up ด้วย SFT (ข้อมูลสังเคราะห์โดย DeepSeek-V4-Pro) แล้วเทรนต่อด้วย GRPO — SFT ใช้ 8 GPU, group size G=8 ตอน GRPO, ปิด KL regularization ส่วน worker ที่ใช้วัดถูก freeze เป็น GPT-4o ตลอด คือ เทรนคนเขียน skill ไม่ได้เทรนคนใช้ skill โค้ดอยู่ที่ ejhshen/skill-alpha สัญญาอนุญาต MIT

ablation ของเขาก็เล่าเรื่องได้ดี: ถ้าเอา rollback reward ออก การกระจายแอ็กชันจะถูกครอบงำโดย NOOP — คือโมเดลเลือก “ไม่แก้อะไรเลย” เป็นทางปลอดภัยเมื่อไม่มีสัญญาณบอกว่าการแก้แต่ละครั้งดีหรือแย่ และถ้าเอา MERGE/PRUNE ออก reward จะพุ่งดีในช่วงต้นแล้วแย่ลงตอนหลัง เพราะการสร้างอย่างเดียวโดยไม่ยุบและไม่ตัดทิ้ง ทำให้ skill ซ้ำซ้อนและขัดแย้งกันสะสมขึ้นเรื่อย ๆ

ข้อจำกัดที่ทีมเขียนไว้เอง: reward กับ verifier ยังผูกกับ benchmark เฉพาะทาง และ skill ยังเป็นข้อความล้วน

มุมมอง AI Curator

ตารางแรกของเปเปอร์นี้คือสิ่งที่ทีมไทยที่กำลังไล่สร้าง skill library ให้ agent ควรเอาไปติดข้างจอ: skill ที่ generate มาแบบไม่ได้วัด มีโอกาสสูงมากที่จะทำให้ระบบแย่ลง และเราจะไม่มีวันรู้เลยถ้าไม่ตั้ง baseline “ไม่ใส่ skill” ไว้เทียบ ซึ่งแทบไม่มีใครทำ เพราะการเพิ่ม skill รู้สึกเหมือนเพิ่มความสามารถเสมอ

ที่น่าคิดคือกลไกที่ได้ผลไม่ใช่การเขียนเก่งขึ้น แต่คือ MERGE กับ PRUNE — การยุบและการตัดทิ้ง ตรงนี้สอดคล้องกับสิ่งที่ Supabase เจอในการทดสอบ skill ของตัวเอง เมื่อวานซืน ที่ต้องเขียน description ของ postgres skill ใหม่ทั้งอันกว่า activation จะขึ้นจากราว 1 ใน 10 sessions มาเป็น 60% — คือคุณภาพและความคมของ skill สำคัญกว่าจำนวน และทั้งสองงานชี้ไปทางเดียวกันว่ากองไฟล์ SKILL.md เยอะ ๆ ไม่ใช่สินทรัพย์โดยอัตโนมัติ

ข้อควรระวังในการอ่าน: worker หลักคือ GPT-4o ซึ่งเป็นโมเดลปี 2024 และค่าสัมบูรณ์บน CL-Bench ต่ำมาก คำถามที่ยังไม่มีคำตอบคือโมเดลรุ่นปัจจุบันที่เก่งขึ้นมาก จะยังได้ประโยชน์จาก skill ที่ generate มาเท่าเดิมไหม หรือจะเข้าทางที่ Steve Yegge ตั้งข้อสังเกตไว้ (ดูบทความอีกชิ้นของวันนี้) ว่า public Skills จะไหลเข้า training data ของโมเดลรุ่นใหม่แล้วหมดความหมายไปเอง เหลือคุณค่าจริงเฉพาะ private skills ที่เข้ารหัสความรู้เฉพาะขององค์กร — ซึ่งถ้าเป็นแบบนั้น สิ่งที่ควรลงทุนคือกระบวนการวัดว่า skill ของเราช่วยจริงไหม มากกว่าจะไปหาเครื่องมือ generate ตัวใหม่

แหล่งข่าว

• Progressive Agent Skill Generation via Reinforcement Learning (arXiv:2608.01678)
• GitHub: ejhshen/skill-alpha (MIT)
• Anthropic Skill-Creator ที่ถูกใช้เป็น baseline