แท็ก

#transformers

2 บทความ

Hugging Face ให้ transformers โหลดไฟล์ GGUF ของ llama.cpp ได้ตรง ๆ แล้ว — ยืม kernel ของ ggml มารันบน Mac ได้เร็วใกล้ llama.cpp แต่ตอนนี้ใช้ได้แค่ Apple Silicon กับตระกูล Qwen3.5
เครื่องมือนักพัฒนา

Hugging Face ให้ transformers โหลดไฟล์ GGUF ของ llama.cpp ได้ตรง ๆ แล้ว — ยืม kernel ของ ggml มารันบน Mac ได้เร็วใกล้ llama.cpp แต่ตอนนี้ใช้ได้แค่ Apple Silicon กับตระกูล Qwen3.5

22 ก.ย. Hugging Face ประกาศว่า transformers (ตอนนี้ต้องติดตั้งจาก main) โหลดไฟล์ GGUF แบบ quantize แล้วรันได้เลยผ่าน from_pretrained(gguf_file=...) และ transformers serve โดยเรียก kernel Metal ของ ggml ผ่านไลบรารี kernels บน M2 Max ได้ 70.4 tok/s กับ Qwen3.5-4B Q4_K_M เทียบกับ llama.cpp ที่ 71.8 แต่ยังรองรับแค่ Apple Silicon และสถาปัตยกรรม Qwen3.5/Qwen3.8 และทีมยังแนะนำให้ใช้ llama.cpp ถ้าต้องการความเร็วสูงสุด

· อ่าน 5 นาที
Hugging Face + vLLM: แบ็กเอนด์ transformers วิ่งเร็วเท่าโค้ดที่เขียนมือแล้ว — เสิร์ฟโมเดลไหนก็ได้บน vLLM ด้วยแฟล็กเดียว
เครื่องมือนักพัฒนา

Hugging Face + vLLM: แบ็กเอนด์ transformers วิ่งเร็วเท่าโค้ดที่เขียนมือแล้ว — เสิร์ฟโมเดลไหนก็ได้บน vLLM ด้วยแฟล็กเดียว

Hugging Face ประกาศว่าแบ็กเอนด์ transformers ใน vLLM ทำ throughput ได้เท่าหรือดีกว่าอิมพลิเมนต์ที่ vLLM เขียนมือเอง ด้วยเทคนิค dynamic layer fusion ตอนรันไทม์ผ่าน torch.fx ผลคือเสิร์ฟโมเดลบน Hub ตัวไหนก็ได้ รวมถึงโมเดลคัสตอม ด้วยแฟล็ก --model-impl transformers โดยไม่ต้องรอใครมาเขียนโค้ดรองรับ

· อ่าน 5 นาที