跳到正文
9月18日周五
  1. Cactus Engineering Blog19

    如何为 Needle 3 设计工具：把约束写进 schema 与语法

    Cactus 分享为 Needle 3 设计工具集的规则：每个动作一个工具，参数必须从请求原文中复制，无对应文本的必填参数会直接扣留调用。工具名和枚举值应使用用户会说的词，取值范围、枚举、长度等约束编译进解码语法，使非法值无法生成。描述无法穷举的说法可用触发器正则匹配，将解码限定到对应工具并强制产生调用。

  4. 中文技术动态66

    百炼上线 Qwen3.8-LiveTranslate 实时同传模型

    阿里云百炼上线 Qwen3.8-LiveTranslate-Flash-Realtime 实时音视频同传大模型，支持离线与实时两种翻译能力，能听懂 60 种语言、以 29 种语言语音输出；相较 qwen3.5-livetranslate-flash-realtime，端到端时延降至约 2.3 秒，新增实时说话人分离与默认开启的 ASR 转写，经 WebSocket Realtime API 调用。

    推荐理由：国内实时同传模型在语言覆盖与时延上的明确代际数据，是出海与跨语言 Agent 的直接供给。

  7. 论文与标准66

    NemotronLabs VoiceChat：带原生工具调用的开源全双工语音到语音模型

    论文提出开源全双工语音到语音模型 NemotronLabs VoiceChat，把流式语音编码器、仅解码器语言模型、并行的 agent 文本与结构化函数调用输出流、用于增量转写用户语音的辅助 RNN-T 分支以及流式 TTS 解码器统一在一个流式架构中，使模型能同时听、转写、推理、调工具与说话。在 Full-Duplex-Bench 1.0 上取得所评测开放权重系统中最低的停顿处理接管率、用户打断后 100% 接管与 4.33/5 的打断后回复质量分；FDB 1.5 上回信道（backchannel）后 93% 恢复回复；VoiceBench 归一化均分 55.1，FDB 3.0 工具选择 F1 为 82.5%，但参数准确率与端到端工具执行仍是待改进项。

    推荐理由：把全双工对话、流式转写与工具调用整合进单一开源语音模型的代表工作，给出完整基准数据。

  9. Cactus Engineering Blog50

    Cactus 详解 Needle 的 .cact 单文件格式与 2.125 比特量化

    Cactus 介绍其端侧模型 Needle 使用的 .cact 单文件格式：196 字节头部携带全部架构几何信息，无名张量目录按前向顺序排列，权重以 128 个一组做 Hadamard 旋转后按 Lloyd-Max 码本量化，CQ2 下每权重 2.125 比特。内核直接读取打包索引做查表与 sdot 累加，不展开权重，20 层 needle3.cact 为 29 MB、581 个张量。文中还给出用 struct 解析头部与目录的二十行 Python 代码，并说明同一容器可承载语音模型 Whistle。

    推荐理由：原文拆解了 .cact 单文件格式的头部、目录与分组量化设计，并给出二十行解析代码，可迁移到自研端侧模型加载器。

9月17日周四
  1. Hume AI Blog62

    Hume 发布语音可控性排行榜，评测 17 个 TTS 模型

    Hume 发布 Voice Controllability Leaderboard，从语音设计、语音指令和角色契合三个维度评测 17 个 TTS 模型，采用数万条人工评分而非 LLM 评委，理由是后者可能因数据泄漏抬高分数。结果显示没有单一模型在所有可控性维度领先：Google 与 ElevenLabs 总体领先但各有短板，开源模型在语音设计上仍有竞争力；性别平均准确率 97.87%，年龄仅 51.8%，讽刺是最难传达的语气。

    推荐理由：榜单用数万条人工评分对比 17 个语音模型的可控性，并指出 LLM 评委可能因数据泄漏抬高分数。

  2. Cactus Engineering Blog58

    Cactus 受控实验：删掉 FFN 后 Transformer 只损失 0.006 nats

    在控制参数量、算力与深度后测量删除前馈网络的损失：匹配参数下仅 0.006 nats，且集中在无外部信息可查的 token 上；该结论支撑 Needle 2/3 的纯注意力架构，完整研究为 A Controlled Study of Attention-Only Transformers。

    推荐理由：对 transformer 架构常识的反直觉实证，方法论干净。

  4. Boson AI Blog40

    Higgs TTS 3 新增文本归一化与词级时间戳

    Higgs TTS 3 API 新增文本归一化与词级时间戳：归一化默认开启，可将数字、日期、货币、URL、缩写等改写为口语形式，自动识别中英法德等 14 种语言，也可用 enable_tn: false 关闭。词级时间戳需设 timestamps: true，目前支持英语、中文和西班牙语，其他语言返回 null，且需将 stream 设为 false，与流式同用会返回 400 错误。

  5. WebKit Blog62

    WebKit 发布 Safari 27.0：新增 Safari MCP 服务器、可定制 select 与 model 元素

    WebKit 发布 Safari 27.0，特性数量从 6 月首个测试版的 58 项增至 80 项，并累计修复 844 个问题。新增的 Safari MCP 服务器让 Claude Code、Codex 等编码代理访问 DOM、网络请求、截图和控制台输出，完全在本地运行。可定制 select 通过 appearance: base-select 支持完全重设样式，model 元素扩展到 iOS、iPadOS 和 macOS，visionOS 网站可提供沉浸式环境。

    推荐理由：Safari 27.0 一次性放出 80 项特性与 844 项修复，可据此判断哪些新 API 和既有行为变化会影响现有站点。

  6. 论文与标准57

    Voice-Light：带因果话轮与投机生成的全双工级联语音 Agent

    论文提出全双工级联语音 Agent Voice-Light，组合即时声学起始检测、与流式 ASR 编码器共享的因果适配器、可逆播放控制和私有的投机回复生成，使结构化工具调用可与桥接语音并发执行，且被取消的音频不会进入对话历史（浏览器端回执让已播放音频成为权威记录）。在 1673 条真实对话静音候选上的锁定评测显示：学习式完结检查点仅 12.53% 话轮结束召回、误截断率 2.70%，而 Silero 时序策略召回 95.60%，因此线上保留混合控制器而非替换为学习策略；三次非脚本化麦克风会话中 36 个回复轮次的中位响应为 758ms（21 轮低于 800ms），作者声明这属于插桩案例研究而非受控用户评测。

    推荐理由：少见的公开负面结果与可复现工程细节，说明级联全双工中学习式话轮判断的真实局限。

  8. LiveKit Blog20

    LiveKit 推出创业扶持计划：提供约 2.3 万美元额度，覆盖推理与 LiveKit Cloud

    LiveKit 推出 Startup Program，为符合条件的早期创业公司提供约 23,000 美元总价值额度，包括 7,000 美元推理额度（覆盖 7 家合作方）、10,000 美元 LiveKit Cloud 额度和一年 Scale 计划（原价 500 美元/月）。所有模型通过 LiveKit Inference 调用，无需单独账号或 API key，且默认启用零数据留存。申请者须员工少于 50 人、融资低于 500 万美元，并将语音、视频或物理 AI 作为产品核心。

9月15日周二
  1. Google AI Blog62

    Google 发布 Gemini 3.8 Live 与 3.5 转写模型

    Google 在 Gemini API 与 AI Studio 上线 Gemini 3.8 Live、3.8 Live Extended Thinking 与 3.5 Transcribe：3.8 Live 为原生语音到语音模型，支持异步函数调用（后台执行工具调用同时继续流式输出音频）、视觉上下文与 97+ 语言；3.8 Live Extended Thinking 在 Artificial Analysis 的 Speech-to-Speech 榜单排名第一；3.5 Transcribe 覆盖 85+ 语言，官方给出平均 WER 4.0%（流式）与 2.6%（非流式）。

    推荐理由：实时语音链路上游模型的关键更新，直接影响语音 Agent 与实时转写方案的选型。

  2. 海外技术动态55

    Bitmovin 云编码器 2.285.0 优化 AV1 三遍编码，宣称 4K 及以下约 10% BD-rate 节省

    Bitmovin 编码器 2.285.0（2026-09-15 发布）改进 AV1 Three-Pass 算法，针对 4K 及更低分辨率内容调优至约 10% BD-rate 节省，并为 AV1 Per-Title 目标 CRF 引入自适应逻辑：根据分辨率、帧率与 HDR 格式（HDR10/HLG 各降 2、Dolby Vision 降 4）自动推导起点 CRF，最低可至 26。同版本还改进直播重连稳定性并新增心跳 webhook。

    推荐理由：商业云编码器在 AV1 三遍编码上的量化收益数据，可作为 AV1 转码成本评估的对照基准。

9月14日周一
  1. BlogGeek.me38

    GitHub 上主流 WebRTC 开源媒体服务器盘点

    按 GitHub 星标排名，Jitsi Meet 以 29,875 星领先，LiveKit 20,731 星、Pion 16,759 星紧随其后，数据取自 2026 年 9 月。若改按活跃度排序，榜单会重排：mediasoup 星标仅列第五，但近 52 周提交 541 次，远高于 Janus 的 66 次。作者强调没有唯一最优选择，会议场景选 Jitsi，可编程后端选 LiveKit，嵌入式项目选 Pion，大规模自建选 mediasoup。

  2. LiveKit Server Releases10

    LiveKit Server v1.13.7 发布

    LiveKit Server 发布 v1.13.7，新增 VP9/AV1 simulcast 支持，并为 udp:// URL 拉流 ingress 加入可选支持。该版本还让 LocalParticipant 新增 GetSubscribedDataTracks，TCP 监听器上的 TURN 开始接受 PROXY protocol，并修复了数据轨道订阅死锁等问题。

  4. Tavus Blog71

    Tavus 发布 Sparrow-2 对话理解模型，在 TurnBench 轮次切换两项任务上领先

    Tavus 发布音频原生、流式优先的多语言对话理解模型 Sparrow-2，不再依赖降噪和静音计时器，而是保留并分类背景语音、噪声、反馈语和打断等信号，联合建模语义、韵律与说话人身份。在独立基准 TurnBench 的公开 dev split（38 段对话、7.3 小时音频）上，它取得 92.4% 的轮次结束召回和 97.4% 的打断召回，是唯一同时领先两项任务的系统，中位决策延迟 632 ms，7.6% 的轮次结束未被响应。模型以 10 ms 帧率运行，处理 80 ms 音频约需 7 ms，可容忍 6 至 8 秒的思考停顿，现已通过 Tavus API 和平台正式可用。

    推荐理由：Sparrow-2 把轮次切换从端点检测改为整体对话状态建模，并给出与十四套系统的基准对比，可据此判断语音智能体在嘈杂环境中的可用边界。

9月12日周六
  1. Pipecat Releases52

    Pipecat 发布 v1.10.0：支持 openai 3 与 anthropic 1 SDK，Speechmatics 改用 Agent STT

    Pipecat 发布 v1.10.0，openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端，TLS 证书改为校验操作系统信任库，精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT（/v2/agent），无法再连接旧实时端点，默认 turn_detection_mode 变为 VAD，默认模型为 linden-1，并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection，DeepSeekLLMService 默认关闭 thinking，LmntTTSService 因 LMNT 关停被移除。

    推荐理由：版本说明列出了多项破坏性变更与迁移方式，可据此判断现有语音管线是否需要调整依赖或参数。

9月11日周五
  1. 海外技术动态70

    Bitmovin 第 10 期开发者报告：98% 视频团队已用 AI，低延迟首超成本成头号挑战，MoQ 意向 28% 而生产使用仅 2%

    基于 94 国 486 名从业者的调查：直播低延迟（36%）首次超过成本控制（35%）成为最大挑战；AVOD 以 69% 领跑变现、FAST（54%）追平 SVOD；QoE 数据虽普遍采集但仅 9% 团队能在 1 小时内定位根因；MoQ 有 28% 的 12 个月使用计划而生产使用率仅 2%，核心传输草案已到第 19 版、目标 2026 年 12 月提交 IESG。

    推荐理由：十年期行业调查的数据型趋势观察，量化了 AI、广告与低延迟三条主线的真实落地差距。

  2. 声网博客18

    声网对话式AI引擎支撑Live Play Mobile的AI游戏主播：24小时直播与真人主播学习闭环

    Live Play Mobile为其24小时宾果直播间加入AI游戏主播，将语言→语音→虚拟形象链路交给声网兄弟公司Agora的对话式AI引擎，游戏逻辑、玩家记忆与主播人设留在自有框架。团队围绕低延迟模型定制语音处理以维持长时间互动的表现力，AI负责24小时多语言运营并把有效话术反馈给真人主播。声网称其方案提供400毫秒平均全球延迟、99.99%正常运行时间，覆盖200多个国家和地区。

9月10日周四
  1. Hume AI Blog62

    Hume 发布语音复刻排行榜，评测 11 个 TTS 模型的克隆效果

    Hume 发布 Voice Replication Leaderboard，作为 Real World VoiceEQ Benchmark 的新组件，用 25 条参考语音和 7 条提示词评测 11 个 TTS 模型的语音复刻能力，评分维度包括同一说话人、音质、自然度和 TitaNet 说话人嵌入余弦相似度。结果显示没有模型在所有维度领先：Cartesia sonic-3.6-beta 自然度最高（4.36）但同一说话人仅排第八（3.63），OpenBMB VoxCPM2 同一说话人第一（4.21）而自然度第五（3.96）；音质分数集中在 3.85 至 4.61，同一说话人分数跨度更大，为 2.91 至 4.21。

    推荐理由：榜单把说话人相似度、自然度、音质和客观相似度分开评测，并给出按口音与情绪拆分的对比，可供选型时参考。

  2. FunASR Releases28

    FunASR 1.4.15 发布：兼容 NumPy 2，修复流式与训练可靠性

    FunASR 1.4.15 发布，移除 NumPy 版本上限并兼容 NumPy 2，同时修复 KWS 跨包/EOS 边界丢帧、动态 VAD 静音调度计入空闲时间及检查点排序纳入无效验证指标等问题。该版本还新增 MOSS 的 Gradio 配置与离线 vLLM 整段转写示例，支持时间戳和匿名说话人标签。NumPy 兼容性仅在 Linux/Python 3.12、NumPy 1.26.4 与 2.4.0 环境下验证，不保证覆盖所有历史依赖与 GPU 组合。

  3. 海外技术动态66

    Bitmovin 开发者报告：低延迟以 36% 首超成本成最大挑战

    基于 94 国 486 名从业者的调查显示：低延迟（36%）首次超过成本控制（35%）成为头号挑战；98% 受访者已在用 AI/ML，46% 每天用 AI 工具；对低延迟的预期从 2020 年的 60% 期待 5 秒内降至如今的 16%，28% 受访者计划未来 12 个月采用 MoQ。

    推荐理由：年度行业基线数据，量化低延迟、AI 与 MoQ 的采用曲线，对技术选型有直接参考价值。

  4. 中文技术动态55

    腾讯云 TRTC SDK 13.5 发布：AI 降噪优化与鸿蒙折叠屏适配

    TRTC SDK 13.5（2026 年 9 月 10 日发布）优化低信噪比下 AI 降噪与近端信号可懂度、修复 KTV 场景 AIEC 首尾字抑制问题，并适配鸿蒙折叠屏前置摄像头切换等；页面同时保留 13.0 以来 AI 实时转录与翻译、音频水印等版本记录。

    推荐理由：TRTC 近一年的版本演进轨迹（AI 转录、音频水印、鸿蒙适配）集中体现在发布日志中。

  5. 海外技术动态62

    Bitmovin Encoder 3：AV1 提速 66% 支持 MoQ 直播

    Bitmovin Encoder Version 3 在 IBC 2026 开放 beta：新 HEVC 编解码器在 per-title 编码下同画质比特率降 15.5%（静态阶梯 17.6%）、同码率最多多 4 个 VMAF 点且云算力省 25%；AV1 同画质编码时间减 66%、吞吐 3 倍；并新增 MoQ 超低延迟直播输出与供 Claude/ChatGPT 只读查询编码任务的 MCP server。

    推荐理由：商用编码器同时押注编解码效率与 MoQ 传输、AI 代理接入的标志性版本。

9月9日周三
  1. LiveKit Blog62

    LiveKit 解释语音智能体中 VAD inference is slower than realtime 警告的含义与排查方法

    LiveKit 说明语音智能体日志中的 VAD inference is slower than realtime 警告与 STT、TTS、LLM 模型无关，指的是智能体进程内的语音活动检测模型处理 32ms 音频窗口耗时超过 32ms，警告中的延迟表示 VAD 落后实时音频的程度，Python 以秒、Node.js 以毫秒报告。排查应先排除阻塞事件循环的同步代码，再检查 CPU 负载，可通过 VAD 的 metrics_collected 事件中 inference_duration_total 与 inference_count 的比值判断是 CPU 饥饿还是事件循环阻塞；不要给 VAD 增加线程或调大 max_buffered_speech、num_idle_processes。

    推荐理由：LiveKit 官方拆解 VAD 落后于实时音频的成因与排查顺序，可对照日志中的延迟数值定位是 CPU 还是事件循环问题。

  2. 声网博客24

    停车场云值守如何把摄像头画面实时搬进微信小程序：声网方案解析

    声网针对停车场云值守场景，将微信小程序 live-pusher/live-player 组件封装为标准 RTC 接口，解决小程序不支持 WebRTC 协议栈、仅支持 H264 编码的接入难题。其 SD-RTN 网络配合 FEC 与 NACK，实测 80% 丢包下音频仍清晰、40% 丢包下视频基本连贯，并支持多路视频流并发接入与毫秒级首帧出图。

  3. 中文技术动态52

    SRS WebRTC over TCP 实战：不经 TURN 的 TCP 直传配置与端口复用方案

    讲解 SRS 的 WebRTC over TCP 直传方案：无需部署 TURN，通过 SRS_RTC_SERVER_TCP_ENABLED 等环境变量即可让 UDP 不可用网络下的 WebRTC 走 TCP；支持与 HTTP API/HTTP-FLV 复用同一 TCP 端口（如 8080），并可配合 rtc_to_rtmp 让一个端口同时服务 WebRTC 与 HTTP 直播，便于负载均衡器转发。

    推荐理由：UDP 受限网络（企业防火墙、运营商 NAT）是 WebRTC 落地常见痛点，此文给出可直接落地的配置方案。

  4. 中文技术动态58

    SRS 从 1.0 到 8.0 版本演进全览：7.0 单线程架构与 8.0 的 AI 协作开发模式

    结合 ossrs/srs 仓库源码与 CHANGELOG 梳理 SRS 各版本演进：7.0（代号 Kai）带来全协议 IPv6、RTMPS、RTSP 播放与统一单线程架构，计划 2026 年底发布；8.0（代号 Free）2026 年启动，AI（Codex 工作流）成为主要贡献者，已近乎重写 SRS Proxy 并将单测覆盖率从 40% 提至 88%。

    推荐理由：SRS 是全球使用最广的开源流媒体服务器之一，此文系统呈现其架构决策与 AI 驱动的社区维护新模式。

  5. 中文技术动态55

    SRS 负载均衡与集群实践：Edge/Origin 集群、一致性哈希与 WebRTC 为何难用 Edge 分流

    以 SRS 官方博客《Load Balancing Streaming Servers》为骨架，结合仓库源码讲解负载与过载判定、DNS/HTTP-DNS 服务发现、Vhost 与一致性哈希、HTTP 302 重定向，以及 Edge Cluster、Origin Cluster（基于代理服务器的新方案）与 WebRTC Cascade 三种集群形态；并解释 WebRTC 因高 CPU 消耗与 PeerConnection 内流量动态变化而难以用 Edge 均衡的原因。

    推荐理由：自建流媒体集群的核心工程问题，文章覆盖了容量评估与调度策略选择的完整方法。

  6. 声网博客22

    声网智能门锁方案：电池供电设备如何做到秒开秒看与远程开门

    声网发布智能门锁/门铃场景方案，针对电池供电门锁给出量产指标：出图速度小于1秒、全球通话延迟小于400毫秒，SDK增量体积控制在400KB以内、运行时内存占用仅1.2MB。远程开锁走独立实时信令通道，全球端到端延迟低于100毫秒（99分位值），70%丢包下仍保证送达。

9月8日周二