เครื่องมือนักพัฒนา
Hugging Face + vLLM: แบ็กเอนด์ transformers วิ่งเร็วเท่าโค้ดที่เขียนมือแล้ว — เสิร์ฟโมเดลไหนก็ได้บน vLLM ด้วยแฟล็กเดียว
Hugging Face ประกาศว่าแบ็กเอนด์ transformers ใน vLLM ทำ throughput ได้เท่าหรือดีกว่าอิมพลิเมนต์ที่ vLLM เขียนมือเอง ด้วยเทคนิค dynamic layer fusion ตอนรันไทม์ผ่าน torch.fx ผลคือเสิร์ฟโมเดลบน Hub ตัวไหนก็ได้ รวมถึงโมเดลคัสตอม ด้วยแฟล็ก --model-impl transformers โดยไม่ต้องรอใครมาเขียนโค้ดรองรับ
· อ่าน 5 นาที