Hadamard MLP 替代 FFN：单层参数 4.7M 降到 25.6K，算力五分之一
Needle 用三个从 Walsh-Hadamard 变换起步学习的 Kronecker 分解混合层替代 transformer 前馈层，d=768 时单层参数从约 4.7M 降至 25.6K，每 token 计算约为原来的五分之一，契合端侧权重读取瓶颈。
推荐理由：量化明确的架构创新，直指端侧推理的内存墙问题。
#端侧
Cactus Engineering Blog精选评分6060 Cactus Engineering Blog精选评分5858 Needle 3 智能阶梯：一套权重从 2 到 20 层任意深度皆可部署
Needle 3 训练为任意 2-20 层深度都是可部署模型，共享同一残差流，按设备内存预算选择深度而无需为每个尺寸单独训练；文中解释子网络选择、免多轮训练的方法及各深度得分。
推荐理由：一套权重覆盖多种端侧内存预算的工程思路，可跟踪性强。
Cactus Engineering Blog精选评分6262 Cactus 开源 26M 参数函数调用模型 Needle：端侧预填充 6000 tok/s
Cactus 开源从 Gemini 蒸馏的 26M 参数函数调用模型 Needle，消费级设备上预填充 6000 tok/s、解码 1200 tok/s；核心观察是工具调用本质是检索与组装而非推理，因此采用纯注意力加门控结构、完全去掉 FFN。
推荐理由：端侧函数调用模型的代表性工作，结构取舍结论对端侧 AI 有普适启发。
已经到底了