跳到正文
  1. Cactus Engineering Blog50

    Cactus 详解 Needle 的 .cact 单文件格式与 2.125 比特量化

    Cactus 介绍其端侧模型 Needle 使用的 .cact 单文件格式:196 字节头部携带全部架构几何信息,无名张量目录按前向顺序排列,权重以 128 个一组做 Hadamard 旋转后按 Lloyd-Max 码本量化,CQ2 下每权重 2.125 比特。内核直接读取打包索引做查表与 sdot 累加,不展开权重,20 层 needle3.cact 为 29 MB、581 个张量。文中还给出用 struct 解析头部与目录的二十行 Python 代码,并说明同一容器可承载语音模型 Whistle。

    推荐理由:原文拆解了 .cact 单文件格式的头部、目录与分组量化设计,并给出二十行解析代码,可迁移到自研端侧模型加载器。

  1. 声网博客60

    声网拆解出海语聊房 AI 降噪配置:中东噪音环境与东南亚弱网下的 AINS 档位选择

    声网针对出海语聊房给出 AI 降噪配置策略:中东中央空调等稳态噪声用传统降噪(WebRTC NS)已够用,市集、水烟咖啡馆的非平稳人声背景才是 AI 降噪优势区。东南亚弱网下,丢包率超过 5% 时部分 AI 降噪模型会因帧缺失产生噪声伪影;骁龙 400 系列等入门芯片叠加混音与编解码后 CPU 占用可能超过 70% 并触发热节流,通话 10–15 分钟后音频不连贯。声网建议按设备档位与丢包情况动态选择 AINS 强度,低端设备任意网络下用传统 NS。

    推荐理由:声网按中东与东南亚两类噪音环境给出 AINS 档位与降级配置,并说明低端设备弱网下传统降噪更稳的边界。

已经到底了