如何为 Needle 3 设计工具：把约束写进 schema 与语法
Cactus 分享为 Needle 3 设计工具集的规则：每个动作一个工具，参数必须从请求原文中复制，无对应文本的必填参数会直接扣留调用。工具名和枚举值应使用用户会说的词，取值范围、枚举、长度等约束编译进解码语法，使非法值无法生成。描述无法穷举的说法可用触发器正则匹配，将解码限定到对应工具并强制产生调用。
#Cactus
Cactus Engineering Blog评分1919 Cactus Engineering Blog精选评分5050 Cactus 详解 Needle 的 .cact 单文件格式与 2.125 比特量化
Cactus 介绍其端侧模型 Needle 使用的 .cact 单文件格式：196 字节头部携带全部架构几何信息，无名张量目录按前向顺序排列，权重以 128 个一组做 Hadamard 旋转后按 Lloyd-Max 码本量化，CQ2 下每权重 2.125 比特。内核直接读取打包索引做查表与 sdot 累加，不展开权重，20 层 needle3.cact 为 29 MB、581 个张量。文中还给出用 struct 解析头部与目录的二十行 Python 代码，并说明同一容器可承载语音模型 Whistle。
推荐理由：原文拆解了 .cact 单文件格式的头部、目录与分组量化设计，并给出二十行解析代码，可迁移到自研端侧模型加载器。
Cactus Engineering Blog评分3636 Needle 2：面向微型设备的 14 MB 智能体 LLM
Cactus 发布 Needle 2，一个 45M 参数的开源模型，用于工具调用、设备操作和结构化抽取，整个模型是单个 14MB 二进制文件，会话内存约 28MB。它在 Raspberry Pi 5 上解码达 500 tokens/sec，在 Meta Quest 3S、Apple Vision Pro 等 VR 设备上为 400–1,500 tokens/sec，并可运行于 ESP32-S3 等较新微控制器。模型采用 CQ2-bit 量化，从预训练到后训练全程针对 Cactus Quants 训练，并支持在 Mac/PC 上微调。