เครื่องมือนักพัฒนา
รัน LLM 28.9 ล้านพารามิเตอร์บนไมโครคอนโทรลเลอร์ราคา 8 ดอลลาร์ — เทคนิค Per-Layer Embeddings ของ Gemma ย่อโมเดลลง ESP32-S3 ได้ 9.5 tok/s
โปรเจกต์โอเพนซอร์สบน GitHub รันโมเดลภาษา 28.9 ล้านพารามิเตอร์บน ESP32-S3 ราคาราว 8 ดอลลาร์ ได้ราว 9.5 tok/s โดยยืมเทคนิค Per-Layer Embeddings จาก Gemma 3n/Gemma 4 มาเก็บตารางเอ็มเบดดิง 25 ล้านพารามิเตอร์ไว้ในแฟลชแทน RAM — อ่านแค่ราว 450 ไบต์ต่อโทเคน ใหญ่กว่าสถิติเดิมบนชิประดับเดียวกันราว 100 เท่า
· อ่าน 6 นาที