跳到正文
  1. Cactus Engineering Blog50

    Cactus 详解 Needle 的 .cact 单文件格式与 2.125 比特量化

    Cactus 介绍其端侧模型 Needle 使用的 .cact 单文件格式:196 字节头部携带全部架构几何信息,无名张量目录按前向顺序排列,权重以 128 个一组做 Hadamard 旋转后按 Lloyd-Max 码本量化,CQ2 下每权重 2.125 比特。内核直接读取打包索引做查表与 sdot 累加,不展开权重,20 层 needle3.cact 为 29 MB、581 个张量。文中还给出用 struct 解析头部与目录的二十行 Python 代码,并说明同一容器可承载语音模型 Whistle。

    推荐理由:原文拆解了 .cact 单文件格式的头部、目录与分组量化设计,并给出二十行解析代码,可迁移到自研端侧模型加载器。

  1. 中文技术动态58

    SRS 从 1.0 到 8.0 版本演进全览:7.0 单线程架构与 8.0 的 AI 协作开发模式

    结合 ossrs/srs 仓库源码与 CHANGELOG 梳理 SRS 各版本演进:7.0(代号 Kai)带来全协议 IPv6、RTMPS、RTSP 播放与统一单线程架构,计划 2026 年底发布;8.0(代号 Free)2026 年启动,AI(Codex 工作流)成为主要贡献者,已近乎重写 SRS Proxy 并将单测覆盖率从 40% 提至 88%。

    推荐理由:SRS 是全球使用最广的开源流媒体服务器之一,此文系统呈现其架构决策与 AI 驱动的社区维护新模式。

  1. LiveKit Blog66

    LiveKit Agents 异步工具:用 ctx.update() 消除慢后端调用期间的通话静默

    livekit-agents 1.6.0(2026-06-11)起支持异步函数工具:工具是同步的直到它调用 await ctx.update(message),首次调用会立即把控制权交还给 LLM 并以该消息作为工具返回值,语音 Agent 因此可以先播报进度、后台继续执行,后续更新只在 Agent 与用户都空闲时播报。文章以退款场景演示(验证订单 6 秒 + 出款 8 秒,共约 14 秒静默导致用户挂断),并给出可取消工具(cancelable 标志会向 LLM 暴露取消工具)、重复调用的四种处置模式以及 ctx.with_filler() 在更新间隙插入填充语音的写法。

    推荐理由:针对语音 Agent 工具调用冷场这一高频体验问题,给出可直接复制的框架级实现。

已经到底了