跳到正文
#实时音视频
10月13日周二
  1. LiveKit Blog30

    LiveKit Egress 故障排查指南：常见错误、状态码与自托管问题

    LiveKit 发布 Egress 故障排查指南，梳理了录制失败的常见错误与对应状态码，包括未收到开始信号（412）、页面加载错误（400）、参与者或轨道未找到（404）、上传失败（400）、流水线冻结（500）和超时（408）等。Egress 以 EGRESS 类型参与者加入房间并只订阅所需轨道，凭证需在录制期间保持有效，S3 的 AssumeRole 仅限特定套餐。

  5. ElevenLabs Blog22

    JavaScript 语音识别教程：用 Web Speech API 构建语音交互

    用浏览器原生 Web Speech API 可在 JavaScript 中实现实时语音转写，无需自建本地识别服务器，音频由浏览器发往后端云服务处理。该 API 通过 SpeechRecognition 接口支持连续识别、临时与最终转写结果，但存在转写不一致、依赖浏览器、无法理解意图等限制，且准确率与延迟因浏览器而异。

10月12日周一
  1. Art of Smart60

    Google DeepMind 演示 Gemini 实时语音代理与实时翻译模型

    Google DeepMind 的 Thor Schaeff 介绍 Gemini API 的实时语音代理能力，包括低延迟、带音频标签的 TTS 模型，以及支持约 90 种语言、可自动检测说话语言并翻译成听者偏好语言的实时翻译模型。他还演示了面向实时对话代理的 Gemini 3.1 Flash Live，其底层 Live API 是低延迟 WebSocket 接口，支持流式文本、音频和视频，具备原生音频理解、打断处理、工具调用和音频转写能力，并提到与 LifeKit、PipeKit 的合作。开发者可通过 Google AI Studio 的 ai.studio/live 和 ai.dev/live 体验。

  2. 腾讯新闻27

    上海大模型公司模思智能完成超10亿元Pre-A轮融资，将推全模态实时交互系统MOSS Live

    上海大模型公司模思智能（MOSI）宣布完成超10亿元Pre-A轮融资，由华控基金领投，资金将用于全模态实时交互智能研发与全球商业化落地。该公司孵化于复旦大学邱锡鹏团队的OpenMOSS团队，今年已发布20多个模型，即将推出采用前后端模型协同架构的MOSS Live系统，面向AI眼镜、智能汽车及机器人等场景。

  3. 网易新闻23

    复旦教授邱锡鹏创办的模思智能再融10亿元，将发布MOSS Live系统

    模思智能完成超10亿元Pre-A轮融资，由华控基金领投，资金将用于全模态实时交互智能研发与全球商业化落地。该公司2024年底孵化于邱锡鹏带领的OpenMOSS团队，聚焦语音、视觉及实时多模态交互，即将发布MOSS Live系统，通过前端交互模型与后端能动性模型协同实现实时交流、复杂推理和任务执行。

  4. MarkTechPost26

    2026 年 12 款 AI 实时翻译工具盘点：延迟、语言与定价

    MarkTechPost 对照官方产品、定价与文档页面，盘点了 12 款 AI 实时翻译工具，覆盖消费级应用、会议插件、活动平台和开发者 API。Palabra.ai 宣称延迟低于 1 秒，API 语音到语音每分钟 0.04 美元；Google Gemini 3.5 Live Translate 支持 70+ 种语言，Apple Live Translation 完全在设备端运行。各工具语言数量口径不一，需按自身语言对实测。

  5. arXiv eess.AS31

    多模态同步机制研究：基于解码器的视频-文本到语音合成洞察

    研究以视频-文本到语音（VTTS）合成任务为测试平台，用基于解码器的统一 Transformer 模型 Visatronic 考察序列设计如何影响异构采样率模态间的同步。全局顺序索引与共时有序索引在域内同步表现相当，但域偏移下同步取决于 token 顺序与位置 ID 设计的交互，文本优先的共时索引在评估变体中迁移最稳健。文本支撑可懂度、视频提供时间线索与情感表达，视频优先域内更强而文本优先泛化更好；新提出的音素级指标 TimeSync 可揭示帧级指标遗漏的时间错位。

  6. arXiv eess.AS34

    RDSE：面向双麦克风低端智能手机的实时定向语音增强框架

    RDSE 是面向双麦克风低端智能手机的实时定向语音增强框架，将视觉交互与特征推理解耦，仅用摄像头输入参数化空间滤波的导向矢量。系统由去混响网络、带时序卷积网络的波束成形器和基于 MetricGAN 的降噪器组成，在基准数据与真实录音上无需精确几何校准即可实现有效音频变焦，并通过实时直播验证了实用性。

  7. arXiv cs.MM38

    DIA：面向云游戏的深度强化学习兴趣感知 ABR 方案

    针对云游戏在无线网络下高分辨率、低延迟传输的难题，研究者提出基于深度强化学习的兴趣感知 ABR 方案 DIA，借助现成语义分割模型实现对象级码率调整，并通过基于 Transformer 的特征提取器和兴趣感知奖励函数识别关键对象。该方案依据玩家游戏内移动速度、对象特征和网络状况自适应调整码率，无需眼动追踪等额外硬件。实验显示，在 5G 场景下 DIA 的归一化平均 QoE 至少比 SOTA ABR 算法高 20%。

  8. 海外技术动态54

    BlogGeek：WebRTC 屏幕共享不能套用摄像头视频的管线与参数

    文章指出屏幕内容的像素特性与摄像头完全不同（高分辨率、低帧率、文字密集），把屏幕共享当普通视频轨处理会导致文字发虚、幻灯片落后演讲者近一秒、共享 4K 显示器时 CPU 飙升；作者按多年咨询经验归纳屏幕共享在编码参数、管线与监控上的专门处理要点。

  9. Cartesia Blog22

    Raise Financial Services 与 Cartesia 合作，为印度金融市场打造多语言语音 AI

    Raise Financial Services 正基于 Cartesia 的语音模型开发多语言语音体验，其 Dhan 语音机器人已有超 75% 的交互使用非英语语言，其中印地语占一半以上。Cartesia 的 Sonic 文本转语音模型支持印地语、泰米尔语、泰卢固语、马拉地语等 11 种印度语言，并可在单次生成中切换语言。Raise 将模型部署在自有基础设施内，超三分之一语音机器人来电在非工作时间由 AI 独立处理。

10月10日周六
  1. LiveKit Agents Releases22

    LiveKit Agents 1.8.6 发布：新增 Nabrah 阿拉伯语 STT 与 Sarvam bulbul:v4-flash TTS

    LiveKit Agents 发布 1.8.6，新增 Nabrah 阿拉伯语 STT 插件和 Sarvam bulbul:v4-flash TTS，并为 Speechify 加入流式 synthesize()、HTTP 连接复用与 prewarm()。该版本还修复了 AWS 实时会话在流重启后中断、OpenAI Responses API 连接预热、实时工具循环 max_tool_steps 未生效等问题，并让 gpt-5.1+ 在 reasoning_effort 为 none 时保留 temperature/top_p。

10月9日周五
  1. ElevenLabs Blog22

    什么是语音活动检测（VAD），它如何工作？

    语音活动检测（VAD）以毫秒级音频帧为单位判断是否含有人声，并以 0 到 1 的置信度输出二值结果，供 ASR/STT、LLM 等下游系统决定是否处理音频。算法按采集、分帧、特征提取、打分、状态决策五阶段循环运行，分为传统信号处理、神经网络和语义 AI 三类。VAD 只判断帧内是否有人声，判断说话人是否说完需由端点检测（endpointing）完成。

  2. WebKit Blog22

    Safari Technology Preview 254 发布说明

    Safari Technology Preview 254 面向 macOS Golden Gate 和 macOS Tahoe 发布，包含 WebKit 321068@main 至 322634@main 之间的改动。CSS 新增 size、min-size、max-size 简写属性及 interpolate-size、calc-size() 等支持，并修复 CSS Grid 重排开销随 order 值不同的网格项数量呈二次增长等问题。

  3. LiveKit Blog22

    Serve AI 如何用 Agent Simulations 把语音智能体迁移到 LiveKit

    Serve AI 将其电话智能体从 Retell 的对话流程图迁移到 LiveKit 单提示词架构，用 Agent Simulations 跑约一百通真实生产通话，迭代十到十五次后达到 98% 通过率、中位轮次延迟 1.3 秒（上限 1.5 秒）才切换流量。首个账号迁移耗时一周且未回滚，上线后问题拦截率提升 15%，Serve 估算该客户每年再省 32 万美元。

  4. LiveKit Blog62

    LiveKit 推出 Agent Simulations，用模拟用户测试语音智能体

    LiveKit 面向所有 LiveKit Cloud 项目正式推出 Agent Simulations，用 LLM 驱动的模拟用户按任务级场景跑完整对话，再由 LLM 评审给出通过或失败及原因。文本模拟跳过语音模型、只测对话逻辑，默认低优先级调度，可在每次 PR 上运行并在失败时返回非零退出码；音频模拟覆盖含背景噪声、打断和附和声的完整音频链路，实时运行且计费更高，适合夜间或发布前跑。CLI 可读取智能体代码自动生成场景，场景以 scenarios.yaml 版本化保存。该功能 10 月内免费，但模拟会调用真实智能体的 LLM 及音频模式下的 STT、TTS，按正常费率计费。

    推荐理由：LiveKit 把语音智能体测试从逐轮对话提升到任务级模拟，并给出文本与音频两种运行方式的成本取舍。

10月8日周四
  1. webrtcHacks74

    实测：Chrome 新回声消除器把语音代理自问自答率降到 Edge 的五分之一

    Chrome 新的 ML 残差回声估计器把语音代理的单词错误率减半，也减少了代理应答自己问候语的情况。作者用 Hugging Face speech-to-speech 搭建语音代理，在相同房间、麦克风和服务器下交替使用 Edge 与 Chrome 各跑一百多次：回声被 STT 当成用户语音的比例为 Edge 21%、Chrome 4%，失败都发生在会话开始后 1.0 到 2.2 秒之间。dump 显示问候语第一段被抑制 51 到 58 dB，约一秒后的第二段却以高于播放 7 到 13 dB 的电平上行，增益控制器在此期间把自适应数字增益从 15 dB 调高，放大了漏出的回声。作者还指出 min_speech_ms 从 500 ms 降到 384 ms 后，三次失败落在 384 到 500 ms 之间，而 smart-turn-v3 以 0.954 的置信度判定回声已说完，说明问题出在流水线看不到的浏览器组件。

    推荐理由：作者用 AEC dump 对比 Chrome 与 Edge 的语音代理自问自答率，并给出 VAD 阈值取舍的实测依据。

  2. mediasoup Releases36

    mediasoup 3.29.0 发布：修复 SCTP 延迟流重置，新增 SCTP 零校验和选项

    mediasoup 3.29.0 修复了 SCTP 在空流列表下延迟流重置未生效的问题，并新增 sctpZeroChecksum 选项以启用 RFC 9653 定义的 SCTP 零校验和。该版本还调整了 consumer.getStats() 的丢包统计口径，fractionLost 和 packetsLost 现在只统计到消费端下行链路的丢包，不再把发送端上行丢包计入；同时移除 rtpPacketLossReceived 和 rtpPacketLossSent 两项传输自定义统计。

  3. mediasoup Releases42

    mediasoup Rust 0.30.0 发布：SCTP 零校验和与丢包统计口径变更

    mediasoup Rust 0.30.0 发布，新增 sctpZeroChecksum 选项以启用 RFC 9653 定义的 SCTP 零校验和，并修复空流列表下延迟流重置未延迟入站数据的问题。该版本为破坏性变更：consumer.getStats() 的 fractionLost 与 packetsLost 现仅统计到消费端下行链路的丢包，不再把发送端上行丢包计入。

  4. 声网博客60

    微软发布三款语音模型，流式识别与合成延迟进入百毫秒区间

    微软于2026年10月1日发布三款语音模型：流式语音识别MAI-Transcribe-2-Streaming、语音合成MAI-Voice-2.1和MAI-Voice-2.1-Flash。MAI-Transcribe-2-Streaming在用户开始说话后约100毫秒给出首个部分转写结果，代价是模型无法回看整句上下文，易混淆词和被打断场景的出错概率更高；MAI-Voice-2.1-Flash端到端延迟150毫秒，推理速度比上一代提升55%，成本降低约60%，分块生成可能影响语调连贯性。文章还提到ElevenLabs v4 Turbo推理延迟也在100毫秒量级，并指出流式传输下连续小片段丢包会带来明显卡顿。

    推荐理由：微软三款语音模型把流式识别与合成延迟压到百毫秒级，可对照理解分块生成在准确率与语调连贯性上的取舍。

10月6日周二
  2. LiveKit Blog38

    Retell、Vapi 与 LiveKit 语音 AI 智能体对比：面向开发者的选型指南

    LiveKit 从四个工程问题对比 Retell、Vapi 与 LiveKit 三款语音 AI 智能体平台：上线后由谁迭代、需求超出默认配置时如何改动、是否需支持电话之外的 Web、移动、视频与 WhatsApp 等渠道，以及规模化成本。三者每分钟全包成本估算分别约为 $0.070–$0.310、$0.070–$0.116 和 $0.037–$0.099，仅 LiveKit 支持 Apache 2.0 开源与自托管。

  3. Tavus Blog22

    不显人工的 AI：PAL 如何改变一切

    Tavus 提出 Personified Application Layer（PAL），把感知、共情与记忆打包成可面对面交谈的应用，并给出 Tavus Turing Test 分级：Stage 0 只有渲染的脸和声音，Stage 0.5 具备人格但上下文限于单次会话，Stage 1 才是能跨交互记忆、推理并主动行动的持久 PAL。Tavus 称该测试是面向 PAL 团队的设计成熟度模型，并非经外部验证的基准。

10月2日周五
  1. Boson AI Blog22

    对话 Vincent Wargnier：用 Compass 语音智能体赢得 Higgs Realtime 黑客松

    Vincent Wargnier 与 Nayl Ahmadulin 在赛前五天组队，凭 Compass 拿下 Boson AI 的 Higgs Realtime 黑客松第一名。Compass 是能在后台搜索、推理并执行建站等重任务的同时保持自然对话的语音智能体，不会因工具运行而沉默，而是继续提问、吸收中间结果。Wargnier 认为现有语音智能体在长任务中要么静默、要么只给无用状态提示，这正是其想解决的问题。

  2. Tavus Blog15

    如何用 Tavus PALs 构建能实时回答买家问题的 AI 产品演示

    Tavus 用 Personified Application Layers（PALs）构建实时 AI 产品演示，让 AI 数字人在直播演示中即时回答买家的定价、集成与安全问题，并当场预约会议。其 Phoenix-4.5 面部行为引擎支持 10+ 种可控情绪状态，Raven-1 多模态感知以低于 100ms 延迟融合语气与表情，Sparrow-2 在 TurnBench 公开开发集上达到 92.4% 轮次结束召回率。

  3. Tavus Blog17

    AI copilot 与 AI agent 如何选：自主性、触发方式与问责决定适用场景

    Tavus 撰文对比 AI copilot 与 AI agent 的产品选型：copilot 在人工任务内提供草稿与建议、由人保留否决权，agent 则接受目标后自主调用工具直至完成。文章引用 Gartner 定义与四级自主性分层，指出二者在自主性、触发范围、问责归属和集成范围四个维度分化，并强调当对话本身即交付物时，需要真实在场感的 AI 视频 agent。

  4. Tavus Blog15

    最佳 AI 客服软件对比：Tavus、Anam、UneeQ 等八大平台横评

    Tavus 在八款 AI 客服平台横评中位列第一，其 Conversational Video Interface 通过托管 WebRTC 连接实现低于 200ms 的响应延迟，Sparrow-2 模型在 81% 的轮次结束点达到人类典型应答时机。Anam 以单张照片生成数字人并公布低于 1 秒的中位对话延迟，UneeQ 则面向受监管企业提供云、混合与本地部署。评测按渠道覆盖、知识 grounding、工单系统适配、定价与合规等维度排序。

  5. Tavus Blog22

    如何用 2 分钟视频创建 AI 克隆：Tavus 详解录制、训练与实时 PAL 部署

    Tavus 介绍用约 2 分钟视频训练 AI 克隆的完整流程：在 PAL Maker 中上传片段、选择训练路径并预览 Replica，录制需 1080p、25fps 以上，且包含至少 30 秒说话片段。实时 PAL 通过 Raven-1、Sparrow-2、Phoenix-4.5 等模型实现 40fps 1080p 面部渲染与约 30ms 知识库检索，并借助 Persistent Memory 跨会话记忆。

  7. Tavus Blog22

    Tavus 解析实时视频智能体的 AI 微服务架构：拆分感知、对话流、推理与面部行为

    Tavus 提出用 AI 微服务架构拆分实时视频智能体，将感知、对话流、推理和面部行为生成拆为四个可独立部署、独立扩缩容的服务，避免单体架构中一处卡顿导致整张脸冻结。感知服务输出上下文陈旧度不超过 300ms，行为生成需维持 1080p 下 40fps，并满足 ITU-R 音频领先视频 45ms、滞后 125ms 的可察觉阈值。

  8. Tavus Blog12

    什么是数字孪生，它与 AI 复刻人有何不同？

    数字孪生是某个特定物理对象的虚拟模型，靠传感器数据持续同步、实时更新，用于监测、预测和决策，ISO 23247-1 将其定义为可观测制造要素的适用数字表示。它与仿真、复刻人的区别在于：仿真无实时数据，复刻人只从录制视频训练一次、不再与本人重新同步。Tavus 认为，把复刻人称作数字孪生会误导用户以为存在实时连接，并建议用 Replica 加 Personified Application Layer（PAL）来区分外观声音与对话系统。

10月1日周四
  1. Jitsi Blog62

    Jitsi Meet 推出多屏支持，单次会话可渲染到多个显示器

    Jitsi Meet 新增多屏支持，一次会话可把演讲者画面、屏幕共享、白板等分别渲染到多个显示器，无需重复入会。第二屏通过 React portal 复用同一 redux store 和组件，视频轨道用 track.clone() 克隆且不增加解码；由 iframe External API 的 setSecondScreen 命令和三个事件控制，也可在参会者右键菜单等处触发。该功能默认关闭，需配置 secondScreen.enabled=true 开启，目前仅支持 Chromium 系浏览器，且需要弹窗和窗口管理两项权限。

    推荐理由：Jitsi Meet 新增多屏渲染能力，读者可了解其与开两个标签页在参会者身份和媒体订阅上的差别。

9月30日周三
9月28日周一
  1. BlogGeek.me32

    WebRTC 是"寻找问题的解决方案"吗？13 年后再看它的真实处境

    WebRTC 并未消亡，但已进入维护期：Chrome 中调用 getUserMedia() 的页面占比从 2019 年的 0.05% 升至今年 0.3%，2025 年中起重新爬升。与此同时 discuss-webrtc 讨论量自 2014 年峰值持续下滑，2026 年前 9 个月 64% 的帖子无人回复，libwebrtc 提交减少、主要由 Google 维护，标准化会议与规范变更也在收缩。

  2. 声网博客42

    从 RTC 2026 看行业关注重心偏移：语音AI正成为实时系统研究主战场

    IIT RTC Conference 2026 将"AI in RTC"设为与 WebRTC 并列的独立分论坛，语音AI对实时系统提出的规模、延迟、信任问题被正式承认为独立研究方向。会议讨论指出，语音AI路径天然非点对点，TURN中继转发压力随并发迅速堆高，可用eBPF将ChannelData包转发下沉内核层；一次对话约800毫秒延迟预算中，端点检测最难做准。2026年8月公开评测显示，语音端到端延迟最快已达0.44秒。