Cactus Engineering Blog·· 2026-08-09评分36
Needle 2：面向微型设备的 14 MB 智能体 LLM
Needle 2: The 14 MB Agentic LLM for Tiny DevicesAn open 45M-parameter model for tool calling, device use, and structured extraction. Needle 2 runs as a 14 MB binary in 28 MB of session RAM.Henry Ndubuaku · August 9, 2026 · 14 min read
导读
Cactus 发布 Needle 2，一个 45M 参数的开源模型，用于工具调用、设备操作和结构化抽取，整个模型是单个 14MB 二进制文件，会话内存约 28MB。它在 Raspberry Pi 5 上解码达 500 tokens/sec，在 Meta Quest 3S、Apple Vision Pro 等 VR 设备上为 400–1,500 tokens/sec，并可运行于 ESP32-S3 等较新微控制器。模型采用 CQ2-bit 量化，从预训练到后训练全程针对 Cactus Quants 训练，并支持在 Mac/PC 上微调。
来源：Cactus Engineering Blog · cactuscompute.com