Pipecat ปล่อย PhoneLLM Alpha 1 ใต้ BSD — ฟายน์จูน Nemotron 3 Nano 30B-A3B ดันคะแนน PhoneBench จาก 28.6% เป็น 72.3% เท่า GPT-5.6 Terra ที่ค่ารันถูกกว่า 14 เท่า

27 สิงหาคม 2026 ทีม Pipecat ของบริษัท Daily ปล่อย PhoneLLM Alpha 1 ขึ้น Hugging Face — โมเดลน้ำหนักเปิดที่เทรนมาเพื่องานเดียวคือ เอเจนต์คุยโทรศัพท์ พร้อมกับเปิดเบนช์มาร์กของตัวเองชื่อ PhoneBench v1 ในโพสต์เดียวกัน

ตัวเลขที่ทุกสำนักหยิบไปพาดหัวคือ “เท่า GPT-5.6 Terra แต่ถูกกว่า 94%” แต่ตัวเลขที่บอกอะไรมากกว่านั้นอยู่บรรทัดล่างสุดของตารางเดียวกัน: โมเดลฐานที่มันถูกฟายน์จูนมา — Nemotron 3 Nano 30B base — ได้ 28.6% ส่วน PhoneLLM ที่เป็นน้ำหนักเดิมผ่าน SFT ได้ 72.3% งานนี้ไม่ได้พิสูจน์ว่าโมเดลเล็กเก่งกว่าโมเดลใหญ่ แต่พิสูจน์ว่า โมเดลเล็กที่ไม่ได้เทรนมาสำหรับงานนี้ ใช้งานจริงไม่ได้เลย และช่องว่างนั้นปิดได้ด้วย SFT ครั้งเดียว

ตาราง PhoneBench v1 ที่เราอ่านจากภาพเอง

Pipecat ไม่ได้พิมพ์ตัวเลขเป็นข้อความไว้ในบทความ ใส่มาเป็นภาพอย่างเดียว เราจึงดึงไฟล์ images/01-phonebench-v1-leaderboard.png จากรีโปมาอ่านเอง:

โมเดล	คะแนน	TTFAT P50	TTFAT P95	ต้นทุน/นาที
Gemini 3.6 Flash	78.6%	1,168 ms	1,468 ms	$0.0751
GPT-5.6 Terra	72.4%	980 ms	1,957 ms	$0.0347
PhoneLLM Alpha 1	72.3%	331 ms	~600 ms	$0.0025
GPT-5.6 Luna	70.7%	786 ms	1,736 ms	$0.0035
Qwen 3.8 27B	70.0%	—	—	$0.0074
Claude Sonnet 5	68.9%	1,651 ms	2,166 ms	$0.0520
DeepSeek V4 Flash 0731	68.6%	464 ms	~600 ms	$0.0687
Claude Haiku 4.5	67.8%	707 ms	899 ms	$0.0188
Gemma 4 31B	58.1%	385 ms	~600 ms	$0.0101
Kimi K2.6 NVFP4	57.9%	313 ms	~600 ms	$0.0372
Gemini 3.5 Flash Lite	57.8%	1,190 ms	1,339 ms	$0.0082
GPT-4.1	57.4%	889 ms	1,190 ms	$0.0292
Nemotron 3 Super 120B base	55.9%	274 ms	~600 ms	$0.0036
Nemotron 3 Ultra 550B-A55B base	38.1%	342 ms	~600 ms	$0.0279
Nemotron 3 Nano 30B base	28.6%	331 ms	~600 ms	$0.0025

สามอย่างที่ตารางนี้บอก และไม่ได้อยู่ในพาดหัวของใคร:

1. PhoneLLM ไม่ได้เป็นที่หนึ่ง — Gemini 3.6 Flash นำอยู่ 6.3 จุด แค่ว่ามันแพงกว่า 30 เท่าและ P95 ช้ากว่าเกือบ 900 ms
2. โมเดลฐานที่ใหญ่กว่า ไม่ได้แปลว่าดีกว่าในงานนี้ — Nemotron 3 Ultra 550B-A55B ได้ 38.1% ต่ำกว่า Super 120B ที่ได้ 55.9% ทั้งที่ใหญ่กว่าสี่เท่า ปัญหาของงานนี้ไม่ใช่ความรู้แต่คือวินัยการเรียกเครื่องมือ
3. แถวที่คุ้มที่สุดต่อดอลลาร์ที่ไม่ใช่ PhoneLLM คือ GPT-5.6 Luna — 70.7% ที่ $0.0035 ตามหลัง PhoneLLM แค่ 1.6 จุด และไม่ต้องดูแล GPU เอง

เลขค่าใช้จ่ายที่การ์ดโมเดลพิมพ์ผิดไป 10 เท่า

Pipecat โชว์วิธีคิดต้นทุนแบบเปิดหมด ซึ่งดีมาก: บน Modal ราคาพื้นฐาน B200 คือ $6.2496/ชม. บวกตัวคูณ 1.5× จากการปักภูมิภาคเป็น $9.3744/ชม. หารด้วยอัตราใช้งานเป้าหมาย 70% ได้ต้นทุนจริง $13.392/ชม. = $0.2232/นาที แล้วหารด้วยเอเจนต์ 88 ตัวที่รันพร้อมกันต่อโหนด B200 หนึ่งตัว

$0.2232 ÷ 88 = $0.002536/นาที — ตรงกับ $0.0025 ในตาราง

แต่ การ์ดโมเดลบน Hugging Face เขียนบรรทัดสรุปนี้ว่า $0.00025 ผิดไปหนึ่งหลัก ขณะที่บล็อกต้นทางบน daily.co เขียน $0.0025 ถูก — เนื้อหาเดียวกันสองที่ ตัวเลขไม่ตรงกัน ใครก๊อปจากการ์ดโมเดลไปจะได้ต้นทุนถูกกว่าความจริงสิบเท่า

ส่วนคำโปรยที่ว่า “ถูกกว่า GPT-5.6 Terra 94%” ลองกดเครื่องคิดเลขจากตารางที่เขาเผยแพร่เอง: 1 − (0.0025 ÷ 0.0347) = 92.8% หรือคิดเป็น ~14 เท่า ไม่ใช่ 18 เท่าอย่างที่โพสต์บน X ของผู้ก่อตั้งเขียนไว้ (ส่วนข้อความว่า “P95 เร็วกว่า 1,300 ms” อันนี้ตรง — 1,957 − 600 = 1,357 ms)

และข้อควรระวังที่สำคัญที่สุดของตารางนี้: ช่อง P95 ที่เขียน ~600 ไม่ใช่ค่าที่วัดได้อิสระ แต่เป็น เป้าหมายที่ตั้งไว้ก่อนแล้ว — Pipecat บอกเองว่าวิธีวัดคือ “ตั้งเพดาน P95 TTFAT ที่ห้ามเกิน แล้วรันซิมูเลชันหาค่า concurrency สูงสุดที่ยังอยู่ใต้เพดาน” คือ ~600 ms เป็น อินพุต ของการทดลอง ไม่ใช่ ผลลัพธ์ ส่วนแถวที่เป็น API (GPT, Gemini, Claude) วัด P95 จริง เพราะปรับ concurrency ของผู้ให้บริการไม่ได้ — สองคอลัมน์นี้จึงไม่ใช่ของชนิดเดียวกัน

สเปกและการเอาไปรัน

รายการ	ค่า
โมเดลฐาน	NVIDIA Nemotron 3 Nano 30B-A3B (BF16)
สถาปัตยกรรม	Hybrid Mamba-Transformer MoE
พารามิเตอร์	30B รวม / 3.5B กระตุ้น
การเทรน	SFT เต็มพารามิเตอร์ ด้วย NVIDIA NeMo
บริบท	262,144 โทเคน
ภาษา	อังกฤษเท่านั้น
ใบอนุญาต	BSD 2-Clause (แนบ NVIDIA Nemotron Open Model License มาด้วย)
น้ำหนัก	bfloat16, 13 ชาร์ด

รันได้บน B200 ตัวเดียว ด้วย vLLM หรือ SGLang โดยใช้สูตรของ Nemotron 3 Nano ได้เลย ต้องเปิด trust_remote_code=True เพราะมี modeling_nemotron_h.py มาในรีโป และ ต้องตั้ง temperature=0 กับปิดโหมดคิด (chat_template_kwargs: {"enable_thinking": false}) เพราะเทรนมาแบบนั้น — Pipecat เน้นย้ำสองบรรทัดนี้เป็นตัวหนา ถ้าตั้งผิดคุณจะได้ผลไม่ตรงกับตาราง

Modal ทำ AutoEndpoints ให้แล้ว:

modal endpoint create --model pipecat-ai/phonellm-alpha-1

Pipecat บอกว่า config ที่ Modal จูนให้เฉพาะงานเสียงนี้ เพิ่ม concurrency สูงสุดได้ราวสองเท่า เทียบกับ config กลาง ๆ ใน cookbook ของ vLLM ที่เพดาน P95 TTFAT เดียวกัน — ซึ่งแปลว่าเลข $0.0025/นาที ผูกกับงานปรับแต่งของ Modal ไม่ใช่ค่าที่ได้ฟรีจากการโหลดน้ำหนักมารัน

เรื่องใบอนุญาต: ไฟล์ LICENSE เป็น BSD 2-Clause จริง Pipecat เขียนชัดว่า “no commercial restrictions” แต่รีโปแนบ LICENSE_NVIDIA.txt มาด้วย เพราะเป็นงานต่อยอดจากโมเดลใต้ NVIDIA Nemotron Open Model License — ถ้าจะเอาไปใช้ในองค์กร ควรอ่านทั้งสองไฟล์ ไม่ใช่แค่ไฟล์แรก

PhoneBench วัดอะไร และใครเป็นคนวัด

PhoneBench ไม่ใช้เฉลยตายตัว แต่ใช้ คณะ LLM judge เทียบกับตัวอย่างอ้างอิงคุณภาพสูง โดยบอกว่า calibrate กับป้ายกำกับจากมนุษย์ไว้แล้ว สิ่งที่วัดคือลักษณะที่เช็คด้วยโปรแกรมไม่ได้: สำนวนการพูดทางโทรศัพท์, ความแม่นของการเรียกเครื่องมือ, ความสอดคล้องระหว่าง “พูดว่าทำ” กับ “ทำจริง”, การอ้างอิงข้อเท็จจริง, ความต่อเนื่องของบทสนทนา, วินัยเรื่องการยืนยันตัวตนและการส่งต่อสาย และผลลัพธ์ปลายทางของสาย

ตัวอย่างที่ Pipecat ยกมาชัดมาก และเป็นปัญหาที่ทีมทำเอเจนต์เสียงเจอทุกคน: ผู้โทรบอก “7 โมงเย็นครับ” — Nemotron 3 Nano ตัวฐานตอบว่า “ขอบคุณครับคุณ David ผมจะจองโต๊ะสำหรับ 5 ท่านเวลา 19:00 น. คืนนี้ให้” แต่ ไม่เรียกเครื่องมือเลย ไม่มีอะไรถูกจองจริง ส่วน PhoneLLM เรียก create_reservation(...) แล้วค่อยยืนยันพร้อมรหัส และตอนจบสายก็เรียก close_guest_call(disposition: "completed") ขณะที่ตัวฐานปล่อยสายค้างไว้

Pipecat บอกว่าฉากทดสอบ รายการเครื่องมือ และ system prompt ใน PhoneBench แยกออกจากข้อมูลที่ใช้เทรน เพื่อวัดว่าโมเดลไม่ได้จำเฉพาะงานที่เห็นมา — เป็นการออกแบบที่ถูกต้อง แต่ยังเปลี่ยนความจริงข้อหนึ่งไม่ได้: คนออกข้อสอบกับคนส่งนักเรียนเข้าสอบคือทีมเดียวกัน ไม่มีใครนอกทีมรันเบนช์นี้ซ้ำ และไม่มีลีดเดอร์บอร์ดสาธารณะให้ส่งโมเดลไปวัด ตัวเลข 72.3% จึงควรอ่านเป็น “ผลที่ผู้ขายรายงานเอง” ไม่ต่างจากตารางเบนช์ในการ์ดโมเดลของ Tencent Hy4 หรือ Z.ai GLM-5.3 ที่เราเตือนไว้ในโพสต์ก่อน ๆ

มุมมอง AI Curator

ประโยคที่ควรจำจากโพสต์นี้ไม่ใช่ตัวเลขไหนเลย แต่คือคำที่ Pipecat ใช้เอง: “model size arbitrage” — เส้นทางประหยัดเงินจากการโฮสต์เองไม่ได้มาจากการเป็นเจ้าของ GPU (ผู้ให้บริการ inference รายใหญ่มี economy of scale เหนือคุณอยู่แล้ว) แต่มาจากการ เอาโมเดลเล็กที่พอดีกับงาน ไปแทนโมเดลใหญ่ที่เอนกประสงค์เกินความจำเป็น ส่วนต่างที่ได้ในกรณีนี้คือ 14 เท่า

แต่ของที่ทำให้ arbitrage นี้เกิดขึ้นได้ ไม่ใช่น้ำหนัก 13 ชาร์ดที่โหลดฟรีได้ — มันคือ PhoneBench ต่างหาก ลำดับที่ Pipecat เล่าเองคือ “เวลาจะเทรนโมเดลใหม่ ขั้นแรกเสมอคือหาว่าจะวัดมันยังไง” คุณจะรู้ว่าโมเดล 3.5B active พอสำหรับงานคุณหรือไม่ ก็ต่อเมื่อคุณมีเครื่องวัดที่จับ “พูดว่าจองแล้วแต่ไม่ได้เรียก API” ได้ ทีมส่วนใหญ่ที่เราเห็นข้ามขั้นนี้แล้วกระโดดไปฟายน์จูนเลย จบลงด้วยโมเดลที่คะแนน eval สวยแต่ลูกค้าโทรมาด่า

สำหรับไทย เรื่องนี้ตรงจุดผิดปกติ — คอลเซ็นเตอร์คือหนึ่งในงาน AI ที่ธนาคาร เทเลคอม ประกัน และอีคอมเมิร์ซไทยลงเงินจริงมากที่สุด และ PDPA กับกฎ ธปท. เรื่องข้อมูลลูกค้าก็ผลักให้หลายเจ้าอยากรันบนโครงสร้างพื้นฐานตัวเองอยู่แล้ว โมเดล 30B ที่กระตุ้นแค่ 3.5B และรันจบบน GPU ตัวเดียวคือของที่ทีมขนาดกลางเอื้อมถึง

ปัญหาคือ PhoneLLM เป็นภาษาอังกฤษล้วน สิ่งที่ข้ามมาไทยได้จริงจึงไม่ใช่โมเดล แต่คือลำดับงานสามขั้นที่เขาเล่า: (1) เก็บหรือสังเคราะห์เทรซบทสนทนาจริง (2) สร้าง PhoneBench ฉบับภาษาไทยก่อน — พร้อม judge ที่ calibrate กับผู้ประเมินคนไทย เพราะ “สำนวนการพูดทางโทรศัพท์” ของไทยมีเรื่องระดับความสุภาพ คำลงท้าย และการปฏิเสธแบบอ้อมที่ judge ภาษาอังกฤษจับไม่ได้ (3) ค่อย SFT และที่ต้องบวกเพิ่มคือ งบเวลา — 1,500 ms voice-to-voice ของเขาคำนวณบน STT/TTS ภาษาอังกฤษที่เร็วกว่าโมเดลไทยพอสมควร ถ้า TTS ไทยกินไป 400 ms งบที่เหลือให้ LLM จะแคบกว่า 650 ms ที่เขาตั้งไว้

ข้อสุดท้ายที่ควรพูดตรง ๆ: จุดที่ Pipecat น่าเชื่อถือที่สุดในโพสต์นี้คือการกางสูตรคิดต้นทุนให้ดูทุกบรรทัดจนเราไล่เลขตามได้ — และการที่เราไล่ตามแล้วเจอว่าการ์ดโมเดลพิมพ์ผิดไปสิบเท่า กับ “94%” ที่จริง ๆ คือ 92.8% ก็เป็นผลพลอยได้จากความโปร่งใสนั้นเอง เทียบกับผู้ขายที่โยนกราฟแท่งมาให้ดูอย่างเดียว นี่ดีกว่ามาก แค่อย่าลืมว่าคนออกข้อสอบยังเป็นคนเดียวกับคนที่ได้ที่สาม

แหล่งข่าว

• Announcing Pipecat PhoneLLM Alpha 1 — Daily blog (27 ส.ค. 2026)
• pipecat-ai/phonellm-alpha-1 — การ์ดโมเดลและน้ำหนักบน Hugging Face
• NVIDIA Nemotron 3 Nano 30B-A3B — โมเดลฐาน
• Pipecat — เฟรมเวิร์กโอเพนซอร์สสำหรับเอเจนต์เสียง