跳到正文
10月13日周二
10月8日周四
  1. 声网博客60

    微软发布三款语音模型,流式识别与合成延迟进入百毫秒区间

    微软于2026年10月1日发布三款语音模型:流式语音识别MAI-Transcribe-2-Streaming、语音合成MAI-Voice-2.1和MAI-Voice-2.1-Flash。MAI-Transcribe-2-Streaming在用户开始说话后约100毫秒给出首个部分转写结果,代价是模型无法回看整句上下文,易混淆词和被打断场景的出错概率更高;MAI-Voice-2.1-Flash端到端延迟150毫秒,推理速度比上一代提升55%,成本降低约60%,分块生成可能影响语调连贯性。文章还提到ElevenLabs v4 Turbo推理延迟也在100毫秒量级,并指出流式传输下连续小片段丢包会带来明显卡顿。

    推荐理由:微软三款语音模型把流式识别与合成延迟压到百毫秒级,可对照理解分块生成在准确率与语调连贯性上的取舍。

10月2日周五
  1. Tavus Blog22

    Tavus 解析实时视频智能体的 AI 微服务架构:拆分感知、对话流、推理与面部行为

    Tavus 提出用 AI 微服务架构拆分实时视频智能体,将感知、对话流、推理和面部行为生成拆为四个可独立部署、独立扩缩容的服务,避免单体架构中一处卡顿导致整张脸冻结。感知服务输出上下文陈旧度不超过 300ms,行为生成需维持 1080p 下 40fps,并满足 ITU-R 音频领先视频 45ms、滞后 125ms 的可察觉阈值。

9月28日周一
  1. ElevenLabs Blog67

    ElevenLabs 发布 Eleven v4 与低延迟版 Eleven v4 Turbo 语音模型

    ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo,称 Eleven v4 在 Artificial Analysis 排名第一,并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景,中位推理延迟约 100ms,中位首次发声时间约 150ms,与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言,Instant Voice Clones 用 10 秒音频即可克隆,并新增 Professional Voice Clones 支持,现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。

    推荐理由:官方给出两款新模型的延迟、盲测偏好与克隆门槛,可据此判断语音代理和配音场景是否值得迁移。

9月24日周四
  1. 声网博客30

    Meta Connect 2026:当语音成为超级智能的入口

    Meta Connect 2026 发布 Muse Realtime Avatar 与 Ray-Ban Meta Audio 两条实时 AI 交互产品线,前者把语音对话升级为带口型、表情和手势的可视化形象,后者是 349 美元起、43 克、10 月 13 日发货的无摄像头纯音频眼镜。Meta 称 Muse Realtime Avatar 通过自蒸馏把教师模型的 120 次调用压缩到 2 次,响应延迟约 870 毫秒,但仍处于 early preview,画面偶有扭曲模糊。

9月22日周二
9月18日周五
  1. 论文与标准66

    NemotronLabs VoiceChat:带原生工具调用的开源全双工语音到语音模型

    论文提出开源全双工语音到语音模型 NemotronLabs VoiceChat,把流式语音编码器、仅解码器语言模型、并行的 agent 文本与结构化函数调用输出流、用于增量转写用户语音的辅助 RNN-T 分支以及流式 TTS 解码器统一在一个流式架构中,使模型能同时听、转写、推理、调工具与说话。在 Full-Duplex-Bench 1.0 上取得所评测开放权重系统中最低的停顿处理接管率、用户打断后 100% 接管与 4.33/5 的打断后回复质量分;FDB 1.5 上回信道(backchannel)后 93% 恢复回复;VoiceBench 归一化均分 55.1,FDB 3.0 工具选择 F1 为 82.5%,但参数准确率与端到端工具执行仍是待改进项。

    推荐理由:把全双工对话、流式转写与工具调用整合进单一开源语音模型的代表工作,给出完整基准数据。

9月17日周四
  1. 论文与标准57

    Voice-Light:带因果话轮与投机生成的全双工级联语音 Agent

    论文提出全双工级联语音 Agent Voice-Light,组合即时声学起始检测、与流式 ASR 编码器共享的因果适配器、可逆播放控制和私有的投机回复生成,使结构化工具调用可与桥接语音并发执行,且被取消的音频不会进入对话历史(浏览器端回执让已播放音频成为权威记录)。在 1673 条真实对话静音候选上的锁定评测显示:学习式完结检查点仅 12.53% 话轮结束召回、误截断率 2.70%,而 Silero 时序策略召回 95.60%,因此线上保留混合控制器而非替换为学习策略;三次非脚本化麦克风会话中 36 个回复轮次的中位响应为 758ms(21 轮低于 800ms),作者声明这属于插桩案例研究而非受控用户评测。

    推荐理由:少见的公开负面结果与可复现工程细节,说明级联全双工中学习式话轮判断的真实局限。

9月11日周五
  1. 海外技术动态70

    Bitmovin 第 10 期开发者报告:98% 视频团队已用 AI,低延迟首超成本成头号挑战,MoQ 意向 28% 而生产使用仅 2%

    基于 94 国 486 名从业者的调查:直播低延迟(36%)首次超过成本控制(35%)成为最大挑战;AVOD 以 69% 领跑变现、FAST(54%)追平 SVOD;QoE 数据虽普遍采集但仅 9% 团队能在 1 小时内定位根因;MoQ 有 28% 的 12 个月使用计划而生产使用率仅 2%,核心传输草案已到第 19 版、目标 2026 年 12 月提交 IESG。

    推荐理由:十年期行业调查的数据型趋势观察,量化了 AI、广告与低延迟三条主线的真实落地差距。

9月9日周三
  1. 声网博客22

    声网智能门锁方案:电池供电设备如何做到秒开秒看与远程开门

    声网发布智能门锁/门铃场景方案,针对电池供电门锁给出量产指标:出图速度小于1秒、全球通话延迟小于400毫秒,SDK增量体积控制在400KB以内、运行时内存占用仅1.2MB。远程开锁走独立实时信令通道,全球端到端延迟低于100毫秒(99分位值),70%丢包下仍保证送达。

9月3日周四
  1. 海外技术动态60

    Eluvio 世界杯试点:DTC 流快过卫星广播 7–10 秒

    Eluvio 用 Content Fabric 零拷贝架构为一家美国一线转播商流式分发全部 104 场世界杯比赛,宣称 DTC 流领先卫星转播 7–10 秒、领先最优流媒体服务 15–25 秒且全球一致;B2B 转播馈送在美国境内低于 20ms,输入仍是 SRT/TS/RTMP、输出保持标准 DASH/HLS。

    推荐理由:大规模体育直播 ultra-low-latency 的罕见公开量化数据,挑战传统 cloud+CDN 架构的成本与延迟假设。

9月1日周二
8月12日周三
  1. 海外技术动态66

    Deepgram 发布 Flux TTS:面向实时语音 Agent 的“对话原生”文本转语音模型

    Deepgram 发布对话原生 TTS 模型 Flux TTS,主张把 VAD、barge-in、状态管理和对话历史回喂等编排职责收进模型本身:跨轮保持语气、节奏与发音,无需 SSML 或风格标签,原生处理打断并回报“用户实际听到的内容”,每句话有 Idle/Generating/Completing 生命周期事件,且支持说话中改语速与发音。技术上是三项选择——高保真神经编解码、文本与音频交错生成(官方称首音频延迟最低 80ms、长度无关地保持在 200ms 以内)、Mamba 状态空间骨干以固定大小记忆跨会话持有上下文。官方称其朗读词错误率中位 2.2%(约为 ElevenLabs 的一半、Cartesia 的三分之一),难例 3.4%,可云端、自托管或本地部署。

    推荐理由:TTS 从“朗读”转向“面向对话状态”的代表性产品发布,直接影响语音 Agent 的打断与跨轮一致性。

7月31日周五
  1. 海外技术动态72

    Cloudflare 推出 MoQ relay API:隔离中转与分级凭证

    在去年把 330+ 城市全部变为 MoQ relay(每日仍有 1000+ 客户端测试)之后,Cloudflare 新增隔离与访问控制:一次 API 调用即可创建独立 relay 并签发 publish/subscribe 分级 token,无需选区域、估容量、配负载均衡;同时支持 MoQ Transport draft-14 与 draft-16,draft-16 的 PUBLISH 让 relay 在首个观众到来前就开始收流,SUBSCRIBE_NAMESPACE 支持按命名空间批量订阅;beta 期免费。

    推荐理由:MoQ 从开放预览走向可生产使用的关键一步,发布/订阅权限模型对直播与竞拍等场景是刚需。

7月30日周四
  1. 声网博客22

    旅游高峰期的 AI 语音助手:如何接住暴涨的咨询量

    声网对话式 AI 引擎为旅游平台 AI 语音助手提供实时交互底座,端到端响应延迟可低至 650 ms,打断响应 340 ms,选择性注意力锁定可屏蔽 95% 的环境人声和噪声干扰。该引擎在 80% 丢包率下仍可维持语音对话,断网 3 至 5 秒时也能继续处理连接恢复后的交互,酒店政策、订单状态等业务数据仍由平台自有系统提供。

7月22日周三
  1. AWS Media Blog62

    AWS 对比 NDI SpeedHQ 与 JPEG XS 的编解码画质基准

    AWS 对 NDI SpeedHQ 和 JPEG XS 两种中间编解码器做了独立画质基准测试,测量 PSNR、码率和多代编解码损失。测试用 Netflix Sparks 素材的 600–1200 帧、4:2:2 色度采样、60 fps,在 Amazon EC2 C6id.12xlarge 上运行,NDI 用 Advanced SDK 6.3.1,JPEG XS 用 IntroPix CPU Codec 2.40.1。结果显示 JPEG XS 在低压缩比下绝对画质更高但码率更大,NDI SpeedHQ 在低码率下略优且存在质量上限;两者在连续八代编解码中 PSNR 损失均低于 0.5 dB。

    推荐理由:AWS 用统一流程对比 NDI SpeedHQ 与 JPEG XS 的画质、码率和代际损失,可据此判断长信号链下选哪种中间编解码器。

7月15日周三
  1. 声网博客74

    声网首测 GPT-Live:响应延迟中位数 1099ms、波动缩 5 倍

    Agora 实验室用 iPhone 13 加人工发声设备、可控网络模拟丢包、双轨录音逐帧取时、每项 n=30 的方法测试三代 ChatGPT 语音模式:GPT-Live-1 正常网络中位响应 1099ms(P90 1203ms、SD 104ms),Advanced Voice Mode 为 1304ms(P90 2318ms、SD 489ms),Standard 级联模式 5197ms;10% 上行丢包下 GPT-Live 仅增 314ms,同级丢包的 P90 仍优于零丢包的上一代;插话停止延迟中位数 1399ms 比上一代慢 498ms,但背景人声误触发从 22 次降到 1 次。

    推荐理由:方法论透明、样本量与局限都交代清楚的端到端延迟实测,弱网下的对比尤其有信息量。

7月13日周一
  1. 中文技术动态64

    火山引擎 × 央视网世界杯直播:首帧起播 400ms 内、端到端延迟最低约 1 秒

    火山引擎介绍与央视网的 2026 世界杯转播合作:长视频首帧起播时长压至 400ms 以内,上届世界杯千万级并发下端到端延迟曾压至约 1 秒,本届进一步压缩,并依托"秒级监控、1 分钟级响应、3 分钟止损"SOP 与 AI 智能调度保障传输。

    推荐理由:国内大型赛事直播的最新技术指标披露,反映火山引擎视频云能力边界。

7月2日周四
  1. 中文技术动态60

    腾讯云 Tencent-RTC 云游戏实践:稳定网络端到端 50-70ms

    腾讯云游戏用自研 Tencent-RTC 做抗抖动与网络自适应:发送端缓存视频帧、接收端按网络动态调缓冲深度,并用预测算法生成中间帧补偿丢包;传输上基于 UDP 并叠加 FEC 与 ARQ,按数据类型(游戏指令、视频帧、音频)设差异化优先级;量化表现为稳定网络下端到端 50-70ms,盛趣游戏案例做到 1080P/60 帧下延迟小于 40ms,全球部署 2000+ 边缘节点。

    推荐理由:云游戏这一延迟最敏感场景的厂商实测数据与机制说明,40ms/1080P60 的案例有参考价值。

6月17日周三
  1. LiveKit Blog80

    LiveKit 发布 Turn Detector v1 话轮检测模型,300ms 延迟预算下误打断率 9.9%

    LiveKit 发布端到端话轮(end-of-turn)检测模型 v1 与 v1-mini,直接对用户音频推理而不依赖转录,把语义分支(音频编码器+适配器+微调 LLM)与声学分支(时序、韵律)融合为单次判定,因此不再需要等待最终转写、也不依赖历史轮次上下文;同时开源 eot-bench 基准与覆盖英语及 13 种语言的真实话轮数据集。官方评测称在 300ms 延迟预算下误打断率 9.9%(Deepgram Flux 12.9%),600ms 预算下降至 4.5%。v1 在 LiveKit Cloud 上对自托管 Agent 免费并设为默认,v1-mini 为同一架构的开放权重模型(代码 Apache-2.0),随 Agents SDK 分发(Python 1.6.1 / TypeScript 1.4.7)。

    推荐理由:话轮检测是语音 Agent 自然度的核心难点,该版本给出公开基准、多语言实测与默认可用路径。

5月26日周二
  1. 中文技术动态52

    腾讯云 RT-One 教育直播:连麦 <300ms、观看 <1 秒双通道

    文章对比三条路线:纯 WebRTC 延迟 <200ms 但千人以上分发困难,纯 RTMP 3-5 秒延迟且不支持双向,RT-One 用统一架构让台上连麦走 RTC(<300ms)、台下观看走快直播(<1s),观众举手上麦时无感切换;给出的量化指标包括 2000+ 全球节点、抗丢包 >80%、单课堂 10 万人,并按 1v1 教学、万人公开课、小班课等场景给出选择依据。

5月19日周二
  1. 声网博客22

    声网 SD-RTN 的全球节点调度算法:如何实现毫秒级延迟

    声网 SD-RTN 通过在全球部署 250 多个数据中心,用持续链路探测与实时并行计算调度数据流路由,实现毫秒级超低延迟传输。调度不只看平均延迟,还关注特定时延内的包投递成功率,并综合节点负载、QoS 要求和业务类型选路。面对突发故障,系统以多路并发冗余在可靠性与带宽成本间取舍,并针对不同区域网络特性做适配优化。

5月11日周一
  1. 海外技术动态60

    BlogGeek:MoQ 热度高但缺标志性客户,是找问题的方案

    Tsahi 指出 MoQ 在实时侧面对已成熟的 WebRTC(自带 NACK、抖动缓冲等双向工具)、在流媒体侧面对成熟的 HLS/DASH 生态都没有明显代差,且运营商才是省去 TURN 的受益方而非终端用户;他认为需要三个条件之一才会改变看法——标志性消费服务把 30%-50% 流量切到 MoQ、公开的真实成本/性能对比数据、或一个 WebRTC 与 HLS 都无解的用例;并估计 RFC 发布要到 2027 年底至 2028 年中。

    推荐理由:对 MoQ 热度的少数派冷静分析,论据具体(标准进度、厂商名单、缺失的拉动方),有助于校准技术投入预期。

5月7日周四
  1. 声网博客62

    声网拆解首帧渲染时间:从信令到渲染的分段优化方法

    把首帧时间拆为信令连接、ICE 协商、设备初始化、编码传输、解码渲染五段分别埋点统计;优化手段包括信令就近部署与预连接、Trickle ICE 边收集边检查、进入大厅即预初始化摄像头、首帧降码率与优先传输、以及进度提示与头像占位;并分场景给出策略——1v1 追求绝对速度、多人会议分批加载防设备过载、直播权衡首帧与缓冲。

    推荐理由:首帧优化的完整方法论,分段统计与分场景策略可直接用于体验优化。

4月17日周五
  1. LiveKit Blog70

    LiveKit 逐项对比语音 Agent 两种架构:STT-LLM-TTS 级联与端到端 Realtime

    LiveKit 对照级联管线(STT-LLM-TTS)与实时端到端(S2S)模型在延迟、工具调用、话轮检测、语音自然度、可控性与调试、成本、合规与电话场景上的差异:实时模型在情绪与韵律感知、串行开销上有结构优势,但工具调用准确率与可定制性较弱;管线在每层可观测、可替换、可在文本层脱敏 PII、可做区域数据驻留上更可控,但需要靠流式重叠(部分转写进 LLM、token 边到边进 TTS)才能压到接近实时模型。文章另给出两种混合方案:realtime 模型配独立 STT,以及半级联(realtime 只出文本、由独立 TTS 出声)。并指出电话网络为 8kHz G.711 音频,而实时模型多按 16–48kHz WebRTC 音频训练,呼叫中心场景管线通常更可靠。

    推荐理由:语音 Agent 架构选型的系统性对照,覆盖延迟、工具调用与合规等实际决策维度。

4月3日周五
  1. 海外技术动态55

    DAZN、BT 与 TATA 对谈:体育直播降延迟只在分播与博彩场景值得投入

    Streaming Media Connect 2026 圆桌共识:只有当体育版权分属多家转播商或涉及博彩交易时,把延迟从 45 秒级压到广播水平才有商业回报;BT 网络侧观察到基于 UDP 的低延迟协议网络效率低于 TCP/HLS,客户端广告插入、SSL 与 DRM 开销是低延迟改造的主要障碍。

    推荐理由:来自一线流媒体与运营商的工程视角,厘清"该不该为低延迟付钱"的边界条件。

4月1日周三
  1. LiveKit Blog62

    LiveKit 拆解 talker-reasoner 模式:快慢双模型加异步工具,让语音 Agent 不阻塞

    LiveKit 介绍 subagent delegation(又称 talker-reasoner、快脑慢脑)模式:每个会话轮次由延迟优化的主 Agent(示例用 google/gemma-4-31b-it)处理,需要多步推理或慢工具的任务交给后台推理模型(示例用 google/gemini-3.1-pro),两者仅通过一个异步工具连接——主 Agent 调用后首次进度更新即释放对话,可继续应答或追问,子 Agent 结果在空闲时以追加回复返回,且会话历史不进入子 Agent 以保持轮次成本低。文章同时给出不适用情形:答案需先核实(价格、医疗建议)、单个快模型已够用、主 Agent 无事可做只能念填充话术、以及通话普遍短于 30 秒。

    推荐理由:面向长耗时推理的语音 Agent 编排模式,给出了可落地的分工与适用边界。

3月30日周一
  1. 声网博客64

    声网 IPC 秒开实践:Chrome 端首帧压到 300ms 以内

    声网把首帧定义为“视频第一帧在本地渲染显示”的结果指标,从关键帧触发、建链协商、路径选择、终端渲染四处下手:建议引擎提前创建初始化、enableVideo 前设好编码配置,参考最佳实践后 Windows/macOS Chrome 首帧最低可降到 300ms 以内;方案整体给出 99.9% 连通成功率、SD-RTN 覆盖 200+ 国家、全球延时中位数 <76ms、80% 丢包下仍流畅。

    推荐理由:有明确数字的首帧优化案例,且强调弱网与跨国条件下的首帧成立概率。

3月3日周二
  1. 海外技术动态60

    直播编码新趋势:用 VMAF 直接驱动码率控制闭环

    Streaming Learning Center 盘点直播编码器把感知质量指标纳入率控闭环的进展:MainConcept 的 VMAF-E 以实时 VMAF 代理在编码序内驱动率控,Synamedia 用 pVMAF 实现按频道的画质目标与优先级调度,Meta 与 FFmpeg 7.0+ 将 PSNR/SSIM/VMAF 用于实时监控与机群可视化。文章建议采购直播编码器时重点确认三件事:是否暴露可独立验证的指标、指标是否在率控环内、能否按频道设定画质目标。

    推荐理由:质量指标从离线评估走向在线率控是直播编码的重要工程趋势,文中给出可落地的采购核查清单。

2月13日周五
  1. Daily.co Blog71

    Pipecat 发布语音智能体 STT 基准:对比 10 家服务的延迟与语义准确率

    Pipecat 团队发布面向实时语音智能体的 STT 基准,在 1000 条真实人类语音样本上测试 10 家 STT 服务,同时衡量转写延迟(TTFS)与语义准确率。中位延迟上 Deepgram Nova 3(247ms,1.62% WER)、Soniox(249ms,1.29% WER)、Speechmatics(495ms,1.07% WER)位于帕累托前沿。基准用 Claude 做语义 WER 评估,只统计会导致 LLM 理解不同的错误,并强调 P95 延迟与 finalization 支持比中位数更影响对话体验;代码已在 GitHub 开源,Pipecat 0.0.102 起可设置 ttfs_p99_latency 参数。

    推荐理由:Pipecat 团队用 1000 条真实语音对比 10 家 STT 服务的延迟与语义准确率,并给出可自行复现的基准工具。

2月10日周二
  1. 论文与标准74

    论文 Camel:帧级带宽估计提升直播 1080P 占比 70.8%

    北大与字节跳动团队发现反直觉现象:编码码率未用满带宽时卡顿仍频发,根因是实时编码的瞬时码率波动让包级拥塞控制误判可用带宽;Camel 改用帧级网络反馈估计真实容量,由带宽与时延估计器、拥塞检测器与突发长度控制器组成;在 2.5 亿用户、20 亿会话、150+ 国家的真实平台上线后,1080P 分辨率占比最多提升 70.8%,媒体码率提升 14.4%,卡顿率最多下降 14.1%;仿真中码率高 19.8%、卡顿率低 93.0%、带宽估计精度提升 23.9%。

    推荐理由:从真实大规模平台发现问题并验证的拥塞控制研究,WWW 2026 收录,数据完整。

1月19日周一
  1. 声网博客52

    声网讲解 SRT 协议:选择性重传、AES 加密与延迟窗口权衡

    SRT 基于 UDP 引入序列号与时间戳,用选择性自动重传替代 TCP 的顺序阻塞重传以避免队头阻塞,并可在配置的延迟窗口内换抗丢包能力;协议层内置 AES-128/256 端到端加密、传输层统一时间基准做音视频同步、仅出站连接简化防火墙穿透,还持续监测丢包/RTT/带宽/抖动以自适应调整;定位为专业直播与远程制作的低延迟传输方案。

1月5日周一
  1. 声网博客54

    声网对比 RTC 与 CDN+RTMP:延迟 3-10 秒对 200-800ms

    从协议本质对比两种方案:RTMP 基于 TCP,网络抖动时反复重传导致数秒至十几秒延迟;声网基于 UDP 私有协议加全球 200 多个节点调度,平均延迟 200-800ms、抗丢包率称可达 70%-80%;文中给出维度对比表(延迟、抗丢包、连麦体验、全球覆盖、成本)与大型发布会、电商带货、出海三类场景的选型建议。

11月4日周二
  1. 海外技术动态56

    webrtcHacks 按用例对比 WebRTC 与 MoQ:不存在单一赢家

    Chad Hart 回应 Fippo 的 MoQ 数据帖,认为“MoQ 会不会取代 WebRTC”这个提法本身有问题——互联网上传媒体有太多不同用例,MoQ 虽被包装成通用方案但更可能先在特定场景落地;文章按用例分析两者位置,并指出 MoQ 的 HTTP/3、QUIC、WebTransport 底座有内在技术优势,且 WebTransport 正获得所有现代浏览器支持。

    推荐理由:从用例出发而非阵营出发的协议比较,帮助判断 MoQ 的真实落地顺序。

8月19日周二
  1. Cartesia Blog55

    Cartesia 发布语音智能体开发平台 Line

    Cartesia 发布语音智能体开发平台 Line,面向开发者提供代码优先的构建方式,可从文本提示或模板在数分钟内创建首个智能体,并通过 CLI 和 GitHub 集成在本地开发、一条命令部署。Line 会记录已部署智能体的全部通话,保存音频与转写文本,报告延迟等系统指标并提供日志,支持自定义 LLM-as-a-judge 指标评估通话。Line 与 Cartesia 的 Sonic 文本转语音和 Ink 流式语音转文本模型一同部署,企业版可完全本地部署并对模型微调。

    推荐理由:Cartesia 把语音智能体的开发、评测与部署整合进一个代码优先平台,并说明与 Sonic、Ink 模型的协同方式。