Cactus Engineering Blog·· 2026-05-12精选评分62
Cactus 开源 26M 参数函数调用模型 Needle：端侧预填充 6000 tok/s
We Distilled Gemini Tool Calling into a 26M ModelAn open-source 26M parameter function-calling model that runs at 6000 tok/s prefill and 1200 tok/s decode on consumer devices.Henry Ndubuaku · May 12, 2026 · 3 min read
导读
Cactus 开源从 Gemini 蒸馏的 26M 参数函数调用模型 Needle，消费级设备上预填充 6000 tok/s、解码 1200 tok/s；核心观察是工具调用本质是检索与组装而非推理，因此采用纯注意力加门控结构、完全去掉 FFN。
推荐理由
端侧函数调用模型的代表性工作，结构取舍结论对端侧 AI 有普适启发。
来源：Cactus Engineering Blog · cactuscompute.com