แท็ก

#Fine-tuning

7 บทความ

OpenAI จะปิด GPT-4o และ GPT-4.1 บน API วันที่ 14 ม.ค. 2027 — แจ้งล่วงหน้าแค่ 3 เดือน ทั้งที่นโยบายตัวเองเขียนว่าโมเดล GA ต้องได้อย่างน้อย 6 เดือน และโมเดล fine-tune ทุกตัวปิดตามไปด้วย แต่ gpt-6-luna ที่แนะนำให้ย้ายไปยัง fine-tune ไม่ได้
เครื่องมือนักพัฒนา

OpenAI จะปิด GPT-4o และ GPT-4.1 บน API วันที่ 14 ม.ค. 2027 — แจ้งล่วงหน้าแค่ 3 เดือน ทั้งที่นโยบายตัวเองเขียนว่าโมเดล GA ต้องได้อย่างน้อย 6 เดือน และโมเดล fine-tune ทุกตัวปิดตามไปด้วย แต่ gpt-6-luna ที่แนะนำให้ย้ายไปยัง fine-tune ไม่ได้

เมื่อ 14 ต.ค. OpenAI แจ้งปิด gpt-4o (2024-08-06, 2024-11-20), gpt-4o-mini, gpt-4.1 และ gpt-4.1-mini บน API ในวันที่ 14 ม.ค. 2027 และแนะนำให้ย้ายทั้งหมดไป gpt-6-luna ระยะเวลาแจ้งล่วงหน้าคือ 3 เดือน สั้นกว่าขั้นต่ำ 6 เดือนที่หน้าเดียวกันเขียนไว้ โมเดล fine-tune บนฐานเหล่านี้ปิดวันเดียวกัน ขณะที่ gpt-6-luna ไม่รองรับ fine-tuning

· อ่าน 4 นาที
Unsloth เทรน decision model เองได้แล้ว: แปลง Qwen3.5 / Llama 3.2 / Gemma 4 เป็นโมเดลตัดสินใจด้วย LoRA ใช้ VRAM 4 GB ความแม่นยำขึ้นจากระดับเดาสุ่ม (~30%) เป็น 78–81% พร้อม OS sandbox ทั้ง 3 ระบบปฏิบัติการ
เครื่องมือนักพัฒนา

Unsloth เทรน decision model เองได้แล้ว: แปลง Qwen3.5 / Llama 3.2 / Gemma 4 เป็นโมเดลตัดสินใจด้วย LoRA ใช้ VRAM 4 GB ความแม่นยำขึ้นจากระดับเดาสุ่ม (~30%) เป็น 78–81% พร้อม OS sandbox ทั้ง 3 ระบบปฏิบัติการ

Unsloth v0.1.904/905-beta (7–8 ต.ค. 2026) เพิ่ม FastDecisionModel และ DecisionTrainer สำหรับแปลง LLM ทั่วไปเป็น decision model ที่ตอบเป็นความน่าจะเป็นของแต่ละตัวเลือก (ใช้ head แบบเดียวกับ Clef ของ Cloudflare) Qwen3.5-0.8B ใช้ VRAM 4 GB เทรน 42 นาที ได้ holdout 78% พร้อมเปิด OS-level sandbox ให้ tool call บน Linux (bwrap), macOS (Seatbelt) และ Windows (MXC)

· อ่าน 5 นาที
Unsloth v0.1.902-beta: เทรน LoRA บนเช็กพอยต์ 4-bit (NVFP4/INT4/MXFP4) โดยไม่คลายเป็น 16-bit — Qwen3.8-27B-NVFP4 พีกลดจาก 72.9 GB เหลือ 40.2 GB
เครื่องมือนักพัฒนา

Unsloth v0.1.902-beta: เทรน LoRA บนเช็กพอยต์ 4-bit (NVFP4/INT4/MXFP4) โดยไม่คลายเป็น 16-bit — Qwen3.8-27B-NVFP4 พีกลดจาก 72.9 GB เหลือ 40.2 GB

1 ต.ค. 2026 Unsloth ปล่อย v0.1.902-beta ที่เทรน LoRA บนเช็กพอยต์ 4-bit แบบ NVFP4, INT4 และ MXFP4 ได้โดยเก็บน้ำหนักไว้ในรูป packed ตลอดการเทรน Qwen3.8-27B-NVFP4 ใช้หน่วยความจำพีก 40.2 GB แทน 72.9 GB และ INT4 ไม่ถูกแปลงซ้ำเป็น NF4 อีกต่อไป พร้อมคำสั่ง unsloth eval และ command palette

· อ่าน 5 นาที
Unsloth Studio v0.1.811: ไล่ AMD ย้อนถึง RDNA1–RDNA2, มีอิมเมจ ROCm แยก, เพิ่มบัญชีผู้ใช้หลายคนแยกงานกัน และแซนด์บ็อกซ์ระดับ OS สำหรับ tool
เครื่องมือนักพัฒนา

Unsloth Studio v0.1.811: ไล่ AMD ย้อนถึง RDNA1–RDNA2, มีอิมเมจ ROCm แยก, เพิ่มบัญชีผู้ใช้หลายคนแยกงานกัน และแซนด์บ็อกซ์ระดับ OS สำหรับ tool

18 ก.ย. 2026 Unsloth ปล่อย v0.1.811-beta ที่ขยายการรองรับ AMD ย้อนไปถึงการ์ด RDNA1 และ RDNA2 พร้อมอิมเมจ Docker unsloth/unsloth-rocm แยกต่างหาก (RDNA2–RDNA4 และ CDNA) เพิ่มบัญชีผู้ใช้หลายคนที่แยกงานกันบนเครื่องติดตั้งเดียว และแซนด์บ็อกซ์ระดับ OS แบบพรีวิวสำหรับ Python/Terminal tool บน Linux กับ macOS

· อ่าน 6 นาที
โมเดล 4B เทรนเองด้วยงบ $1,200 ทำ query plan เร็วกว่า Postgres 1.81 เท่า — แต่ต้องอ่านเงื่อนไขให้ครบ
งานวิจัย

โมเดล 4B เทรนเองด้วยงบ $1,200 ทำ query plan เร็วกว่า Postgres 1.81 เท่า — แต่ต้องอ่านเงื่อนไขให้ครบ

16 ก.ย. Rohan Bansal เผยแพร่ qorl งานทดลองเทรนโมเดลเปิด 4B ด้วย off-policy distillation จาก GPT-6 Astra แล้วต่อด้วย agentic RL ให้ออก pg_hint_plan hints ผลบน Join Order Benchmark ได้ geometric mean speedup 1.81 เท่าและลด latency รวม 44.7% ด้วยต้นทุนทั้งโครงการ $1,200 แต่ตัวเลขนี้มาจากการเลือกผลที่ดีที่สุดจาก 3 รอบ ถ้าให้โมเดลเลือกเองเหลือ 1.40 เท่าและมี 7 query ที่ช้าลง

· อ่าน 7 นาที
Google เปิด autofinetune — ให้เอเจนต์จูน Gemma บน TPU ข้ามคืนด้วย program.md ไฟล์เดียว แต่ results.tsv ในรีโปบอกว่า SFT ขยับ 3.7 จุด และกำไร RL กว่าครึ่งมาจากรูปแบบคำตอบ
เครื่องมือนักพัฒนา

Google เปิด autofinetune — ให้เอเจนต์จูน Gemma บน TPU ข้ามคืนด้วย program.md ไฟล์เดียว แต่ results.tsv ในรีโปบอกว่า SFT ขยับ 3.7 จุด และกำไร RL กว่าครึ่งมาจากรูปแบบคำตอบ

Google Developers Blog (11 ก.ย. 2026) เปิด autofinetune ลูปวิจัยอัตโนมัติสไตล์ autoresearch ของ Karpathy สำหรับ post-training: มนุษย์เขียนกติกาใน program.md เอเจนต์แก้ run.py รันบน Tunix + Cloud TPU แล้วเก็บหรือ git reset ตามผล ไฟล์ผลลัพธ์ในรีโปแสดงว่า FunctionGemma 270M ขยับจาก 86.58% เป็น 90.32% ใน 20 รอบ ส่วน GRPO บน Gemma 3 1B ได้ reward เพิ่มราว 11% โดยกว่าครึ่งมาจาก format accuracy

· อ่าน 5 นาที
Axolotl v0.18.0 — ไฟน์จูนโมเดล MoE ยักษ์ด้วย LoRA 4-bit NVFP4 รองรับ GLM-5.2 และรันได้บน RTX 50xx
เครื่องมือนักพัฒนา

Axolotl v0.18.0 — ไฟน์จูนโมเดล MoE ยักษ์ด้วย LoRA 4-bit NVFP4 รองรับ GLM-5.2 และรันได้บน RTX 50xx

Axolotl ออกเวอร์ชัน 0.18.0 (17 ก.ค. 2026) รวมกว่า 90 commit ตั้งแต่ v0.17.0 จุดหลักคือ expert LoRA แบบ 4-bit NVFP4 ที่รันเร็วบนทั้งสอง MoE backend, เส้นทาง W4A4 ผ่าน SonicMoE ที่ชนะ Marlin W4A16 ทุกความยาว sequence บน B200, รองรับไฟน์จูน GLM-5.2 แบบหลาย GPU และรองรับ Blackwell ระดับผู้บริโภค (RTX 50xx / sm120)

· อ่าน 5 นาที