RFC 9725 定稿:WebRTC-HTTP 摄取协议 WHIP 成为正式标准
WISH 工作组的 WHIP 于 2025 年 3 月发布为 RFC 9725(Standards Track),定义基于 HTTP 的简单协议,让 WebRTC 内容可标准化地推入流媒体服务与 CDN,同时更新 RFC 8840 和 RFC 8842。
推荐理由:WHIP 从草案转正为正式 RFC,是 WebRTC 推流标准化的行业级节点。
WISH 工作组的 WHIP 于 2025 年 3 月发布为 RFC 9725(Standards Track),定义基于 HTTP 的简单协议,让 WebRTC 内容可标准化地推入流媒体服务与 CDN,同时更新 RFC 8840 和 RFC 8842。
推荐理由:WHIP 从草案转正为正式 RFC,是 WebRTC 推流标准化的行业级节点。
IETF MoQ 工作组草案,由 Akamai 的 W. Law 与 Cisco 的 S. Nandakumar 提出,规定在 Media over QUIC Transport(MOQT)上承载媒体的流格式 MSF,2026 年 6 月更新至 01 版,是 MoQ 协议栈的核心规范之一。
推荐理由:MoQ 核心流格式草案,直接决定新一代低延迟传输的媒体承载方式。
AWS 发布开源文件传输应用 File Mover Express,在 Apache 2.0 许可下于 GitHub 提供 macOS、Windows 和 Linux 预编译包,用于在本机与 Amazon S3 之间搬运媒体素材。其守护进程式传输引擎把任务与桌面会话解耦,支持断点续传、热文件夹自动上传、带宽限速,以及 XXH3、XXHash、XXHash64、MD5 校验和读取 MHL 清单文件;数据经内置 S3 API 直传,不经过中继或第三方服务,并提供 GUI、CLI 和可选 MCP 服务器三种操作方式。
推荐理由:AWS 官方开源的文件传输工具,用守护进程把传输与桌面会话解耦,并给出 MHL 校验与直传 S3 的取舍。
LiveKit 面向所有 LiveKit Cloud 项目正式推出 Agent Simulations,用 LLM 驱动的模拟用户按任务级场景跑完整对话,再由 LLM 评审给出通过或失败及原因。文本模拟跳过语音模型、只测对话逻辑,默认低优先级调度,可在每次 PR 上运行并在失败时返回非零退出码;音频模拟覆盖含背景噪声、打断和附和声的完整音频链路,实时运行且计费更高,适合夜间或发布前跑。CLI 可读取智能体代码自动生成场景,场景以 scenarios.yaml 版本化保存。该功能 10 月内免费,但模拟会调用真实智能体的 LLM 及音频模式下的 STT、TTS,按正常费率计费。
推荐理由:LiveKit 把语音智能体测试从逐轮对话提升到任务级模拟,并给出文本与音频两种运行方式的成本取舍。
微软于2026年10月1日发布三款语音模型:流式语音识别MAI-Transcribe-2-Streaming、语音合成MAI-Voice-2.1和MAI-Voice-2.1-Flash。MAI-Transcribe-2-Streaming在用户开始说话后约100毫秒给出首个部分转写结果,代价是模型无法回看整句上下文,易混淆词和被打断场景的出错概率更高;MAI-Voice-2.1-Flash端到端延迟150毫秒,推理速度比上一代提升55%,成本降低约60%,分块生成可能影响语调连贯性。文章还提到ElevenLabs v4 Turbo推理延迟也在100毫秒量级,并指出流式传输下连续小片段丢包会带来明显卡顿。
推荐理由:微软三款语音模型把流式识别与合成延迟压到百毫秒级,可对照理解分块生成在准确率与语调连贯性上的取舍。
Hume AI 的技术长文,介绍其 Expression API 背后的面部与语音表情测量模型的科学依据、研发过程与评测方法:把语气、迟疑、惊讶等信号转为结构化分数,用于数据标注、AI 输出评估与跨录音比较,并跟踪交互过程中情绪随时间的变化。
推荐理由:少见地把情绪测量模型的构建与评测方法完整公开,对情感计算与语音 Agent 评测有方法论价值。
Hume AI 推出 Expression APIs,将声音与面部表情转化为结构化分数,估计他人对该表达的可能感知,语音侧还额外度量说话风格与嗓音特质;支持实时交互与离线录音分析标注两种模式。典型场景是让语音 Agent 识别客户语气中的挫败感——转写文字相同而情绪不同的情况。
推荐理由:把情绪信号做成可调用的结构化 API,补上语音 Agent 与情感计算管线里转写之外的关键一环。
继 DaVinci Resolve Studio 之后,Higgs VoiceOver 插件现已支持 macOS 上的 Adobe Premiere Pro:每句旁白由 Higgs TTS 3 生成并作为独立剪辑落入时间线,可按行导演情绪、风格与语速,生成词级时间对齐字幕,并用约 10 秒自己的音频构建 100+ 语言的定制音色;使用自己的 Boson API key,按用量计费,Final Cut Pro 版本在开发中。
推荐理由:AI 配音进入主流专业剪辑软件时间线,把 TTS 能力落到视频生产工作流,实用面较广但属常规产品扩展。
Tavus 定义 PAL(Personified Application Layer,人格化应用层):跨聊天、语音、视频看、听、记忆并自适应的新型应用形态,是其产品体系的概念基座。
推荐理由:PAL 概念是 Tavus 全部产品线的统摄框架,理解其方向的入口文档。
Cactus 发布开源语音识别模型 Whistle,单文件 16.9 MB、纯 CPU 运行无依赖,面向手机、可穿戴、机器人、智能家居、汽车与微控制器;支持英德法西意荷波 7 种语言(可自动检测),单次转写最长 30 秒 16 kHz 单声道音频,首 token 延迟 11 ms,输出词级时间戳,并与 Needle 共享同一 C++ 引擎与量化方案,可在浏览器端离线运行。
推荐理由:把 STT 压到 16.9 MB 且保留词级时间戳与 11 ms 首响,是端侧语音这一细分方向上规格突出的开源发布。
Jitsi Meet 新增多屏支持,一次会话可把演讲者画面、屏幕共享、白板等分别渲染到多个显示器,无需重复入会。第二屏通过 React portal 复用同一 redux store 和组件,视频轨道用 track.clone() 克隆且不增加解码;由 iframe External API 的 setSecondScreen 命令和三个事件控制,也可在参会者右键菜单等处触发。该功能默认关闭,需配置 secondScreen.enabled=true 开启,目前仅支持 Chromium 系浏览器,且需要弹窗和窗口管理两项权限。
推荐理由:Jitsi Meet 新增多屏渲染能力,读者可了解其与开两个标签页在参会者身份和媒体订阅上的差别。
Inworld 宣布收购实时语音 Agent 平台 Ultravox,其团队加入并继续维护平台;双方此前已有 TTS 合作。Ultravox 带来语音理解、推理与任务执行以及话轮/打断管理能力,与 Inworld 的 Realtime TTS-2、Realtime STT-1 及实时推理基础设施整合,首个整合改进已上线。
推荐理由:语音 Agent 赛道少见的端到端并购,理解侧与生成侧头部团队合并,行业格局信号明确。
Phoenix-4.5 是首个将情感状态生成、主动倾听行为与连续面部动作统一为单一系统的实时模型,文章以代码讲解其状态空间建模实现,覆盖毫秒级延迟的上下文感知表情与头部动作。
推荐理由:实时数字人行为生成的技术深度文,披露模型架构思路与延迟水平。
ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo,称 Eleven v4 在 Artificial Analysis 排名第一,并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景,中位推理延迟约 100ms,中位首次发声时间约 150ms,与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言,Instant Voice Clones 用 10 秒音频即可克隆,并新增 Professional Voice Clones 支持,现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。
推荐理由:官方给出两款新模型的延迟、盲测偏好与克隆门槛,可据此判断语音代理和配音场景是否值得迁移。
Pipecat 发布 v1.12.0,新增 Pipecat Classifiers,可通过 JevClassifier 或 LLMClassifier 对状态提出是/否、选择与评分问题,并新增 TTSService.pronunciation_transform_ipa() 用词到 IPA 的映射控制专有名词发音。MOQTransport 增加客户端模式重连,断线后按退避重拨,MOQParams.connection_timeout 默认由 30 s 改为 60 s;同时弃用 UninterruptibleFrame、BaseUIWorker 等接口,将在 2.0.0 移除。
推荐理由:版本说明覆盖分类器、MOQ 重连与语音合成发音等多项能力变化,并列出弃用与移除项,便于评估升级影响。
Boson AI 发布 Higgs VoiceOver 插件,把 AI 配音放进视频剪辑器,由 Higgs TTS 3 驱动,每句旁白生成独立片段并自动排到时间线的配音轨上。它支持用标签控制情绪、语速和音效,自动生成词级时间轴字幕,用约十秒音频克隆自定义声音,覆盖 100 多种语言且同一句内可切换语言。该插件已在 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro 上线,Final Cut Pro 与 Windows 版本在开发中,使用自带 Boson API key 按量计费,价格为每千字符 0.015 美元。
推荐理由:面向剪辑工作流的 AI 配音插件,说明它如何把配音、字幕和声音克隆放进时间线,以及按量计费的成本口径。
SRS 发布 8.0 开发版首个版本 v8.0-d0,对应 8.0 dev0 与 v8.0.48,代码约 328208 行,并在 README 和 SRS 8.0 changelog 中加入该发布线。该版本提供源码包 srs-server-8.0-d0.tar.gz、CentOS7 x86_64 二进制包,以及 ossrs/srs:8、ossrs/srs:v8.0-d0、ossrs/srs:8.0.48 三个 Docker 镜像标签。
推荐理由:SRS 发布 8.0 开发版首个版本,给出了版本号、代码规模和 Docker 镜像标签,可据此判断升级节奏。
Agora 面向语音 AI 开发者推出基于 Gemini 3.8 Flash TTS 的新一代语音能力,定位新一代对话式语音合成,服务其 ConvoAI/语音 Agent 场景。
推荐理由:声网接入 Google 新一代 TTS 模型,反映模型层与 RTE 平台层加速融合。
YouTube 在 Made on YouTube 2026 活动中宣布一批直播工具更新,聚焦粉丝赞助与自动配音等方向,延续其在直播互动与多语言能力上的投入。
推荐理由:YouTube 年度创作者大会的直播相关产品发布,代表其直播产品路线。
LiveKit 发布 Private Links,让 LiveKit 托管的 Agent 通过云网络私密访问敏感内部资源,无需维护公网 IP、入站防火墙规则或 VPN。该功能通过 WireGuard 加密隧道连接 LiveKit 网关,再经 AWS PrivateLink 或 Azure Private Link 进入用户 VPC,仅支持基于 TCP 且完成 TLS 协商的连接,不支持非安全 TCP 和 UDP。目前支持 us-east 与 eu-central 两个 LiveKit 区域,每个项目每区域限 3 条,价格为每条 50 美元加双向 0.10 美元/GB。
推荐理由:面向受监管行业的企业,说明如何在不暴露公网的前提下让托管 Agent 访问内网资源,并给出 AWS 与 Azure 的接入步骤。