PuRo-2B: ทีมชิงหัวเทรนโมเดล 2B จากศูนย์บนการ์ดจอเกม RTX 5090 ด้วยค่าคอมพิวต์ $6.9K — แล้วปล่อยทั้งข้อมูล โค้ด น้ำหนัก และเช็คพอยต์ระหว่างทางใต้ Apache-2.0

27 สิงหาคม 2026 ทีม 11 คนจาก มหาวิทยาลัยชิงหัว และ Pengcheng Laboratory ปล่อยรายงาน arXiv 2608.27370 ชื่อยาวตรงไปตรงมาว่า “PuRo-2B: Poor Lab’s Qwen2-1.5B Trained on RTX 5090 within $5090” — พวกเขาเทรนโมเดลภาษา 2B พารามิเตอร์ จากศูนย์ บนโทเคน 1.4 ล้านล้านตัว โดยไม่ใช้ H100 หรือ H200 สักใบเดียว ทั้งหมดรันบน การ์ดจอเกม RTX 5090

สิ่งที่ปล่อยตามมาไม่ใช่แค่น้ำหนัก แต่คือ ทั้งไปป์ไลน์ — ข้อมูล โค้ด น้ำหนัก และเช็คพอยต์ระหว่างทางใต้ Apache-2.0 ที่ huggingface.co/collections/thu-pacman/puro-2b นี่คือส่วนที่หายากกว่าตัวเลขค่าใช้จ่าย

ตัวเลขค่าใช้จ่าย และสิ่งที่ตัวเลขนั้นไม่รวม

บัญชีจาก Table 1 ของรายงาน:

รัน	เฟส 1	เฟส 2	GPU-ชม. รวม	ค่าใช้จ่าย
PuRo-2B ($4.4K, uniform)	24 GPU · 438.84B โทเคน · 10.43 วัน · $1.84K	96 GPU · 480.00B โทเคน · 3.58 วัน · $2.53K	14,262	$4.37K
PuRo-2B ($6.9K, canonical)	24 GPU · 438.84B โทเคน · 10.43 วัน · $1.84K	96 GPU · 959.99B โทเคน · 7.16 วัน · $5.05K	22,514	$6.89K

วัดเป็น GPU-ชั่วโมงจริงจากเวลาต่อ iteration — 6,009.46 ชม. ในเฟส 1 และ 16,504.95 ชม. ในเฟส 2 คูณอัตรา 2.0833 หยวน/GPU-ชม. ได้ 46,905 หยวน = $6,891

ส่วนหัวเรื่องที่เขียนว่า “within $5090” นั้นเป็นการเล่นคำ — ไม่ใช่ค่าใช้จ่ายของโมเดลที่ดีที่สุด แต่เป็นจุดที่ กฎสเกลที่พวกเขาฟิตเอง บอกว่าราว $4.4K ก็พอจะไล่ทัน Qwen2-1.5B แล้ว ซึ่งต่ำกว่าเลข $5,090 ที่เอาชื่อรุ่นการ์ดมาเล่นเป็นตัวเงินพอดี ส่วนโมเดลตัวเก่งจริง ๆ ในรายงานใช้ $6.89K

และรายงานนี้ทำสิ่งที่รายงานส่วนใหญ่ไม่ทำ — กางรายการที่ไม่ได้นับเข้าค่าใช้จ่ายไว้เป็นย่อหน้าเต็ม ๆ: การจัดหาและเตรียมข้อมูล, การทดลอง proxy model, งาน ablation กับ scaling study, รันที่ล้มเหลว, post-training, การประเมินผล, การเฉลี่ยเช็คพอยต์, แรงงานนักวิจัย, และทรัพยากรที่ไม่ใช่ตัวเร่ง (CPU, สตอเรจ, เน็ตเวิร์ก) รวมถึงภาษีและค่าเสื่อม พวกเขาสรุปเองว่านี่คือ “marginal accelerator cost” ของการรันสูตรสุดท้ายซ้ำหนึ่งครั้ง ไม่ใช่งบพัฒนาโมเดล

ตัวเลขเปรียบเทียบอย่าง “Llama-3.2-3B แพงกว่า $1.5M” ก็ควรอ่านด้วยมาตรฐานเดียวกัน — เป็นค่าที่ทีม PuRo ประมาณเองด้วยสูตร C = 6ND ที่ MFU 70% แบบเทียบเท่า H100 ไม่ใช่บิลจริงของ Meta

ทำไม RTX 5090 และราคาที่ใช้คำนวณนั้นซื้อไม่ได้

Table 2 คือหัวใจของการตัดสินใจ:

GPU	FP8 TFLOPS	หน่วยความจำ	ราคา/ชม.	คอมพิวต์ต่อดอลลาร์ FP8 (EFLOP/USD)
A100 SXM4	—	80 GB	$1.79	—
H200 SXM5	1,979	141 GB	$4.00	1.78
RTX PRO 6000	1,007.6	96 GB	$1.89	1.92
RTX 5090	419	32 GB	$0.31	4.87

RTX 5090 มีพลังดิบต่ำกว่า H200 เกือบห้าเท่า และ Tensor Core ยังถูกล็อกเหลือครึ่งเดียวเมื่อสะสมผลแบบ FP32 แต่ คอมพิวต์ต่อดอลลาร์สูงกว่า H200 ราว 2.7 เท่า — และเพราะ GB200 เข้าถึงไม่ได้ด้วยเหตุผลเชิงนโยบายและราคา มันยังเป็นตัวเลือกเดียวที่รองรับ FP4 ในมือพวกเขา

แต่มีรายละเอียดที่ต้องอ่านเชิงอรรถถึงจะเห็น: $0.31/ชม. ไม่ใช่ราคาที่ไปเช่าได้ เพราะ “RTX 5090 ไม่มีช่องทางเช่าสาธารณะทั่วไปเนื่องจากข้อจำกัดของ NVIDIA EULA” พวกเขาจึงประมาณจากการ ตัดค่าเสื่อมเครื่องของตัวเองกับค่าไฟตลอด 5 ปี โดยโหนด 8 GPU ตกราว 12,000 หยวน ($1,763) ต่อเดือน ส่วนราคาของ A100/H200/RTX PRO 6000 เก็บจากแพลตฟอร์มเช่าสาธารณะเมื่อ 16 ส.ค. 2026 — คนละฐานกัน

รายงานยังขอบคุณ Yanfu Investments ที่บริจาค GPU และช่วยขยายคอมพิวต์ในเฟส 2 จาก 24 เป็น 96 ใบ

ของแถมที่นักทำระบบควรอ่าน: การแฮ็กไดรเวอร์

RTX 5090 ไม่มี NVLink ทางเชื่อมภายในโหนดจึงเหลือแค่ PCIe — และ NVIDIA ปิด PCIe P2P บน GPU ที่ไม่ใช่รุ่นดาต้าเซ็นเตอร์ บังคับให้ทราฟฟิกระหว่าง GPU วิ่งผ่านหน่วยความจำโฮสต์แบบ “ping-pong” ซึ่งกินประสิทธิภาพการสื่อสารอย่างหนัก

ทีมงานระบุว่าข้อจำกัดนี้ “ดูเหมือนถูกบังคับใช้โดยไดรเวอร์ ไม่ใช่ข้อจำกัดของฮาร์ดแวร์” แล้วแก้ด้วยการใช้ ไดรเวอร์ NVIDIA โอเพนซอร์สฉบับดัดแปลง ร่วมกับการ ปิด IOMMU และ PCIe ACS และปรับ NPS (NUMA per socket) ผลคือคลัสเตอร์ทำ MFU แบบผสมความแม่นยำได้ราว 73% (ตามนิยาม precision-weighted peak ของรายงาน ไม่ใช่ผล BF16 ล้วน)

ส่วนสูตรเทรน: ใช้คอนฟิกสถาปัตยกรรมของ Qwen3-1.7B แต่แยก embedding ออกจาก LM head จึงได้ราว 2B พารามิเตอร์, รันบน Megatron Core, ใช้ blockwise FP8 เฉพาะ GEMM ของเลเยอร์เชิงเส้น ส่วน master weight กับ optimizer state คงไว้ที่ BF16/FP32, ความยาวลำดับ 4,096 และ global batch 1,536 ลำดับ

ตัวออปติไมเซอร์ชื่อ Hyperball — ใช้ MuonH กับเมทริกซ์ที่ประมาณว่า scale-invariant แล้วฉายกลับสู่รัศมี Frobenius ตั้งต้นทุกสเต็ป ส่วนพารามิเตอร์ที่เหลือใช้ AdamW โดยกลุ่ม MuonH ใช้ LR สูงกว่าฐาน 10 เท่า และปิดท้ายด้วย curriculum model averaging (CMA) ที่เรียงข้อมูลเฟส 2 จากคะแนนคุณภาพต่ำไปสูงแล้วเฉลี่ยเช็คพอยต์ช่วงท้าย

ได้โมเดลระดับไหนกลับมา

โมเดล	คณิต+โค้ด (4 เบนช์)	เหตุผล+ความรู้ (11 เบนช์)
Qwen2-1.5B	40.29	60.54
PuRo-2B ($6.9K)	43.50	63.02
PuRo-2B ($4.4K)	38.61	61.70
Qwen2.5-1.5B	47.52	65.53

อ่านตรง ๆ: แซง Qwen2-1.5B ได้ทั้งสองด้าน (+3.21 และ +2.48 จุด) และ ยังตามหลัง Qwen2.5-1.5B อยู่ (−4.02 และ −2.51 จุด) รายงานเองยังชี้ว่า MobileLLM-R1-950M ซึ่งเล็กกว่าครึ่ง ทำคะแนนคณิต+โค้ดเฉลี่ยสูงกว่า PuRo-2B 3.86 จุด

พูดให้ชัดคือ PuRo-2B ไม่ใช่โมเดลที่คุณควรเอาไปใช้งาน มันคือ หลักฐานว่าราคาของการเทรนจากศูนย์ต่ำลงมาถึงจุดไหนแล้ว

มุมมอง AI Curator

ของที่มีค่าจริงในงานนี้ไม่ใช่โมเดล และไม่ใช่ตัวเลข $6.9K ด้วยซ้ำ — มันคือ เช็คพอยต์ระหว่างทาง ถ้าเปิดดูรีโปบน Hugging Face จะเห็นว่าเขาปล่อย Puro-2B-Base-Phase1, Puro-2B-Uniform-Phase2-1of16, -1of8, -1of4, -1of2, Puro-2B-Uniform, Puro-2B-Curriculum-DecayFinal แยกกันหมด

นั่นคือสิ่งที่แทบไม่มีใครปล่อย และเป็นสิ่งเดียวที่ทำให้คำถามอย่าง “การเรียงลำดับข้อมูลตอน pretrain ส่งผลอะไรหลังผ่าน post-training” ตอบได้จริง — ซึ่งเป็นการทดลองที่รายงานนี้ทำเองในบทที่ 5 โดยเอา initialization สองตัวมา SFT ด้วยข้อมูลชุดเดียวกัน การมีแค่น้ำหนักตัวสุดท้ายทำแบบนี้ไม่ได้เลย

สำหรับแล็บไทย ข้อความนี้ตรงกว่าที่คิด — VISTEC, NECTEC, SCB10X, หรือแล็บมหาวิทยาลัยที่อยากทำโมเดลภาษาไทยจากศูนย์ ติดกำแพงเดียวกันมาตลอดคือ “เทรนเองไม่ไหว ต้องไปฟายน์จูนของคนอื่น” ตัวเลข $4-7K ค่าคอมพิวต์ กับเครื่อง 8 การ์ดต่อโหนดที่ตกเดือนละราวหกหมื่นบาท เป็นตัวเลขที่ทุนวิจัยระดับคณะเอื้อมถึง ไม่ใช่ระดับที่ต้องรอ MOU กับคลาวด์เจ้าใหญ่

แต่ต้องอ่านให้ครบสามข้อก่อนตั้งงบ:

1. ส่วนที่แพงที่สุดคือส่วนที่เขาไม่นับ รายงานตัดข้อมูล ablation รันที่พัง และแรงงานออกจากบัญชีทั้งหมด สำหรับภาษาไทยข้อนี้หนักเป็นพิเศษ เพราะ corpus ที่เขาใช้เป็นเว็บ/โค้ด/คณิต ที่มีคนกลั่นมาให้แล้ว ส่วนคลังไทยคุณภาพสูงต้องสร้างเอง — และนั่นคือค่าใช้จ่ายก้อนที่ไม่ปรากฏใน $6.9K
2. การแฮ็กไดรเวอร์เป็นพื้นที่สีเทา การเปิด PCIe P2P ด้วยไดรเวอร์ดัดแปลงเพื่อเลี่ยงข้อจำกัดที่ NVIDIA ตั้งไว้ กับการที่เขาบอกเองว่า RTX 5090 ไม่มีช่องทางเช่าสาธารณะ เพราะ EULA — สองเรื่องนี้อยู่หน้าเดียวกันในรายงาน ใครจะสร้างแล็บบนสูตรนี้ควรให้ฝ่ายกฎหมายอ่านก่อน ไม่ใช่หลัง
3. 32 GB ต่อใบคือเพดานจริง สูตรนี้ทำงานได้เพราะโมเดลเป้าหมายเล็กพอ ขยับขึ้นไป 7B–8B เมื่อไหร่ สมการเปลี่ยนทันที การไม่มี NVLink จะเริ่มกัด

ที่น่าสนใจคือวันนี้เรามีสองข่าวที่เป็นด้านตรงข้ามกันพอดี — Thomson Reuters ที่เผา 35,207 ชั่วโมง B200 เพื่อต่อยอดโมเดล 35B แล้วล็อกไว้ใต้ PolyForm Strict ที่ห้ามทั้งใช้เชิงพาณิชย์ ดัดแปลง และแจกจ่ายต่อ กับทีมชิงหัวที่ใช้ 22,514 ชั่วโมงของการ์ดจอเกม แล้วปล่อยทุกอย่างใต้ Apache-2.0 งบประมาณต่างกันคนละชั้น แต่ของที่ชุมชนได้กลับกันสิ้นเชิง

และคำเตือนสุดท้ายสำหรับคนที่จะหยิบพาดหัวไปใช้: ประโยค “เทรน LLM ได้ในราคาห้าพันดอลลาร์” จะถูกตัดออกจากบริบทภายในสัปดาห์นี้แน่นอน ตัวเลขนั้นจริงเฉพาะเมื่อ (ก) คุณมีการ์ดอยู่แล้ว (ข) คุณนับเฉพาะการรันสูตรสำเร็จรูปซ้ำหนึ่งครั้ง และ (ค) คุณพอใจกับโมเดลระดับ Qwen2-1.5B ของปี 2024 — เงื่อนไขทั้งสามข้อนี้ทีมผู้เขียนเขียนไว้เองอย่างซื่อสัตย์ คนที่จะทำให้มันเป็นข่าวปลอมคือคนที่เอาไปเล่าต่อ ไม่ใช่คนเขียน

แหล่งข่าว

• PuRo-2B: Poor Lab’s Qwen2-1.5B Trained on RTX 5090 within $5090 — arXiv 2608.27370 (27 ส.ค. 2026)
• คอลเลกชัน PuRo-2B บน Hugging Face — น้ำหนัก เช็คพอยต์ระหว่างทาง และข้อมูล ใต้ Apache-2.0
• thu-pacman/Puro-2B-Base — โมเดลหลักของคอลเลกชัน