แท็ก

#LoRA

10 บทความ

Samaya Sterling เทรนโมเดล 3B active ต่อจาก Nemotron จนชนะ Fable 5.1 บนเบนช์มาร์กการเงินของตัวเอง — แต่ตัวเลขถูกกว่า 11 เท่าเทียบคนละระบบ
โมเดลใหม่

Samaya Sterling เทรนโมเดล 3B active ต่อจาก Nemotron จนชนะ Fable 5.1 บนเบนช์มาร์กการเงินของตัวเอง — แต่ตัวเลขถูกกว่า 11 เท่าเทียบคนละระบบ

Samaya post-train Nemotron 3.5 Lightning จาก 42.5% เป็น 58.9% บน FrontierFinance เทียบ Claude Fable 5.1 ที่ 55.9% ค่าใช้จ่าย $0.61 ต่อคำถามเทียบ $6.89 แต่เป็นการเทียบกับ Finance Agent v2 คนละ harness และบล็อกไม่ได้ประกาศปล่อยน้ำหนัก

· อ่าน 3 นาที
IBM ปล่อย Granite Switch 4.1 (8B/30B, Apache-2.0): รวมแชต, decision adapter, ตัวตรวจความปลอดภัย และ ASR ไว้ใน endpoint เดียวด้วย aLoRA ที่ใช้ KV cache ร่วมกัน — ท้าชน Jev แต่คะแนน Decision Index ยังอยู่ที่ 42.9/50.1
โมเดลใหม่

IBM ปล่อย Granite Switch 4.1 (8B/30B, Apache-2.0): รวมแชต, decision adapter, ตัวตรวจความปลอดภัย และ ASR ไว้ใน endpoint เดียวด้วย aLoRA ที่ใช้ KV cache ร่วมกัน — ท้าชน Jev แต่คะแนน Decision Index ยังอยู่ที่ 42.9/50.1

IBM ปล่อย Granite Switch 4.1 ขนาด 8B และ 30B (Apache-2.0) เมื่อ 14–15 ต.ค. 2026 เป็นโมเดลที่ประกอบ Granite 4.1 เข้ากับ activated LoRA สำหรับงานตัดสินใจและตรวจความปลอดภัย และฝังตัวถอดเสียง Granite Speech 5.0 TurboCTC ไว้ใน endpoint เดียว โดยใช้ VRAM ใกล้เคียงโมเดลฐาน IBM อ้างว่า Guardian adapter ชนะ Jev 1.13 ในงานด้านความปลอดภัย แต่คะแนน Decision Index ของ decision adapter อยู่ที่ 42.9 (8B) และ 50.1 (30B) และ ASR ยังไม่ได้เทรนร่วมกับ LLM

· อ่าน 4 นาที
Unsloth เทรน decision model เองได้แล้ว: แปลง Qwen3.5 / Llama 3.2 / Gemma 4 เป็นโมเดลตัดสินใจด้วย LoRA ใช้ VRAM 4 GB ความแม่นยำขึ้นจากระดับเดาสุ่ม (~30%) เป็น 78–81% พร้อม OS sandbox ทั้ง 3 ระบบปฏิบัติการ
เครื่องมือนักพัฒนา

Unsloth เทรน decision model เองได้แล้ว: แปลง Qwen3.5 / Llama 3.2 / Gemma 4 เป็นโมเดลตัดสินใจด้วย LoRA ใช้ VRAM 4 GB ความแม่นยำขึ้นจากระดับเดาสุ่ม (~30%) เป็น 78–81% พร้อม OS sandbox ทั้ง 3 ระบบปฏิบัติการ

Unsloth v0.1.904/905-beta (7–8 ต.ค. 2026) เพิ่ม FastDecisionModel และ DecisionTrainer สำหรับแปลง LLM ทั่วไปเป็น decision model ที่ตอบเป็นความน่าจะเป็นของแต่ละตัวเลือก (ใช้ head แบบเดียวกับ Clef ของ Cloudflare) Qwen3.5-0.8B ใช้ VRAM 4 GB เทรน 42 นาที ได้ holdout 78% พร้อมเปิด OS-level sandbox ให้ tool call บน Linux (bwrap), macOS (Seatbelt) และ Windows (MXC)

· อ่าน 5 นาที
Unsloth v0.1.902-beta: เทรน LoRA บนเช็กพอยต์ 4-bit (NVFP4/INT4/MXFP4) โดยไม่คลายเป็น 16-bit — Qwen3.8-27B-NVFP4 พีกลดจาก 72.9 GB เหลือ 40.2 GB
เครื่องมือนักพัฒนา

Unsloth v0.1.902-beta: เทรน LoRA บนเช็กพอยต์ 4-bit (NVFP4/INT4/MXFP4) โดยไม่คลายเป็น 16-bit — Qwen3.8-27B-NVFP4 พีกลดจาก 72.9 GB เหลือ 40.2 GB

1 ต.ค. 2026 Unsloth ปล่อย v0.1.902-beta ที่เทรน LoRA บนเช็กพอยต์ 4-bit แบบ NVFP4, INT4 และ MXFP4 ได้โดยเก็บน้ำหนักไว้ในรูป packed ตลอดการเทรน Qwen3.8-27B-NVFP4 ใช้หน่วยความจำพีก 40.2 GB แทน 72.9 GB และ INT4 ไม่ถูกแปลงซ้ำเป็น NF4 อีกต่อไป พร้อมคำสั่ง unsloth eval และ command palette

· อ่าน 5 นาที
Kev — โมเดลตัดสินใจแบบ Jev ฉบับเปิด Apache-2.0 ขนาด 0.8B/4B/9B บน Qwen3.5 ใช้ API เดียวกับ TypeSafe ได้เลย แต่ Kev-9B ยังตาม Jev อยู่ 3.5 จุด
โมเดลใหม่

Kev — โมเดลตัดสินใจแบบ Jev ฉบับเปิด Apache-2.0 ขนาด 0.8B/4B/9B บน Qwen3.5 ใช้ API เดียวกับ TypeSafe ได้เลย แต่ Kev-9B ยังตาม Jev อยู่ 3.5 จุด

หนึ่งสัปดาห์หลัง TypeSafe เปิด Jev แบบ waitlist Jared Palmer ปล่อย Kev ตระกูลโมเดลตัดสินใจขนาด 0.8B, 4B และ 9B บน Qwen3.5 เป็น Apache-2.0 พร้อมโค้ดเทรนและชุดทดสอบที่ freeze ไว้ ตอบคำถาม yes/no, choice และ score พร้อมความน่าจะเป็นผ่าน endpoint ที่เข้ากับ SDK ของ TypeSafe ได้ทันที ตัวเลขของเขาเองบอกว่า Kev-9B ยังตาม Jev อยู่ 3.5 จุดบนข้อมูลชุดใหม่ และห่างมากในคำถามเชิงความรู้

· อ่าน 6 นาที
Bespoke Nimble: สูตรเปิดทั้งชุดสำหรับทำ Jev เอง — 66.4% → 90.1% ด้วยข้อมูล 2,676 แถวที่สร้างจากการแก้ข้อเท็จจริงทีละคำให้คำตอบพลิก
โมเดลใหม่

Bespoke Nimble: สูตรเปิดทั้งชุดสำหรับทำ Jev เอง — 66.4% → 90.1% ด้วยข้อมูล 2,676 แถวที่สร้างจากการแก้ข้อเท็จจริงทีละคำให้คำตอบพลิก

18 ก.ย. Bespoke Labs ปล่อย Bespoke-Nimble-9B — LoRA adapter ขนาด 165 MiB บน Qwen3.5-9B ใต้ Apache-2.0 พร้อมสูตรทำข้อมูลที่เรียกว่า contrastive data curation ผลบน 324 ตัวอย่าง held-out คือ 90.1% เทียบกับ 66.4% ของ base และ 93.2% ของ Jev 1.13.0 — และทีมประกาศเองว่าไม่ได้ distill จาก Jev

· อ่าน 7 นาที
โมเดล 4B เทรนเองด้วยงบ $1,200 ทำ query plan เร็วกว่า Postgres 1.81 เท่า — แต่ต้องอ่านเงื่อนไขให้ครบ
งานวิจัย

โมเดล 4B เทรนเองด้วยงบ $1,200 ทำ query plan เร็วกว่า Postgres 1.81 เท่า — แต่ต้องอ่านเงื่อนไขให้ครบ

16 ก.ย. Rohan Bansal เผยแพร่ qorl งานทดลองเทรนโมเดลเปิด 4B ด้วย off-policy distillation จาก GPT-6 Astra แล้วต่อด้วย agentic RL ให้ออก pg_hint_plan hints ผลบน Join Order Benchmark ได้ geometric mean speedup 1.81 เท่าและลด latency รวม 44.7% ด้วยต้นทุนทั้งโครงการ $1,200 แต่ตัวเลขนี้มาจากการเลือกผลที่ดีที่สุดจาก 3 รอบ ถ้าให้โมเดลเลือกเองเหลือ 1.40 เท่าและมี 7 query ที่ช้าลง

· อ่าน 7 นาที
"คอมไพล์ด้วยการเทรน" — เขียนสเปกภาษาอังกฤษหนึ่งย่อหน้า ได้ฟังก์ชันที่รันบน Qwen3-0.6B ในเครื่องตัวเอง แม่น 83.6% ใช้เวลาคอมไพล์ 51 วินาที แต่การพึ่งพาผู้ให้บริการไม่ได้หายไป มันย้ายไปอยู่ที่ build time
เครื่องมือนักพัฒนา

"คอมไพล์ด้วยการเทรน" — เขียนสเปกภาษาอังกฤษหนึ่งย่อหน้า ได้ฟังก์ชันที่รันบน Qwen3-0.6B ในเครื่องตัวเอง แม่น 83.6% ใช้เวลาคอมไพล์ 51 วินาที แต่การพึ่งพาผู้ให้บริการไม่ได้หายไป มันย้ายไปอยู่ที่ build time

3 ก.ย. 2026 ทีมจาก University of Waterloo และ Harvard ปล่อยเปเปอร์ compile by training — เปลี่ยนสเปกภาษาธรรมชาติเป็นอะแดปเตอร์ LoRA บนอินเทอร์พรีเตอร์ Qwen3-0.6B ที่ดาวน์โหลดไปรันเองได้ ทำคะแนน 83.6% บน FuzzyBench-Hard จากเดิม 22.4% แต่ตอนคอมไพล์ยังต้องส่งสเปกไปให้บริการโฮสต์และ GPT-5.5 สังเคราะห์ตัวอย่าง

· อ่าน 7 นาที
Harvey Tenet: บริษัทกฎหมาย AI เอา Kimi K3 มาเทรนต่อเอง แทนที่จะเช่าโมเดลแนวหน้า — 150 ใบ B300 นาน 2 เดือน แลกกับงานยาวที่ทำจบเพิ่มเกือบเท่าตัว
โมเดลใหม่

Harvey Tenet: บริษัทกฎหมาย AI เอา Kimi K3 มาเทรนต่อเอง แทนที่จะเช่าโมเดลแนวหน้า — 150 ใบ B300 นาน 2 เดือน แลกกับงานยาวที่ทำจบเพิ่มเกือบเท่าตัว

Harvey ประกาศเมื่อ 20 ส.ค. 2026 ว่าได้ post-train โมเดลของตัวเองชื่อ Tenet บนฐาน Kimi K3 ร่วมกับ Fireworks — ทำงานกฎหมายยาวจบได้เกือบสองเท่าของ K3 ตัวเปล่า ขึ้นอันดับ 1 บน LAB: Contracts และเปิดสูตรครบตั้งแต่ GSPO + LoRA rank-64 ไปจนถึงจำนวน GPU ที่ใช้

· อ่าน 8 นาที
Axolotl v0.18.0 — ไฟน์จูนโมเดล MoE ยักษ์ด้วย LoRA 4-bit NVFP4 รองรับ GLM-5.2 และรันได้บน RTX 50xx
เครื่องมือนักพัฒนา

Axolotl v0.18.0 — ไฟน์จูนโมเดล MoE ยักษ์ด้วย LoRA 4-bit NVFP4 รองรับ GLM-5.2 และรันได้บน RTX 50xx

Axolotl ออกเวอร์ชัน 0.18.0 (17 ก.ค. 2026) รวมกว่า 90 commit ตั้งแต่ v0.17.0 จุดหลักคือ expert LoRA แบบ 4-bit NVFP4 ที่รันเร็วบนทั้งสอง MoE backend, เส้นทาง W4A4 ผ่าน SonicMoE ที่ชนะ Marlin W4A16 ทุกความยาว sequence บน B200, รองรับไฟน์จูน GLM-5.2 แบบหลาย GPU และรองรับ Blackwell ระดับผู้บริโภค (RTX 50xx / sm120)

· อ่าน 5 นาที