ข้ามไปยังเนื้อหา

แท็ก

#loop-detection

1 บทความ

Genkit v2 ออก generateMiddleware() API — 3 hook (model/tool/generate) สำหรับ intercept agent loop คล้าย Express, ทีม Genkit ปล่อย soft-fail, smartMaxTurns และ contextCompression
เครื่องมือนักพัฒนา

Genkit v2 ออก generateMiddleware() API — 3 hook (model/tool/generate) สำหรับ intercept agent loop คล้าย Express, ทีม Genkit ปล่อย soft-fail, smartMaxTurns และ contextCompression

ช่วงต้นเดือน พ.ค. 2026 ทีม **Genkit (Google)** ปล่อย **`generateMiddleware()` API** ใน `genkit/beta` — เป็น primitive ที่ให้ developer **intercept agent loop ได้ 3 ระดับ**: `model` hook (wrap การเรียก model), `tool` hook (wrap การ execute tool), และ `generate` hook (wrap แต่ละ turn ของ agentic loop) — ทำงานเหมือน **Express middleware แต่สำหรับ LLM inference** — Pavel Janicki (Genkit team lead) เปิด `genkitx-misc` ที่มี middleware 3 ตัวที่แก้ปัญหา agent loop จริง: **`softFail`** กัน crash จาก model 503/tool error/maxTurns ให้ return aborted response แทน throw, **`smartMaxTurns`** detect loop ผ่าน hash + LLM judge แทนการนับ turn อย่างเดียว, **`contextCompression`** ลด token usage ผ่าน tool-response truncation + summarization — ทั้งหมด stack ได้แบบ `use: [softFail(), smartMaxTurns(), contextCompression()]`

· อ่าน 5 นาที