RFC 9725 定稿：WebRTC-HTTP 摄取协议 WHIP 成为正式标准
WISH 工作组的 WHIP 于 2025 年 3 月发布为 RFC 9725（Standards Track），定义基于 HTTP 的简单协议，让 WebRTC 内容可标准化地推入流媒体服务与 CDN，同时更新 RFC 8840 和 RFC 8842。
推荐理由：WHIP 从草案转正为正式 RFC，是 WebRTC 推流标准化的行业级节点。
技术方向
实时音视频 最新动态
实时通信的技术与实践：SFU 架构、信令、端到端延迟、回声消除，以及 RTC 场景下的工程取舍。
60 条精选近 30 天 11 条共收录 150 条
更新
实时音视频的精选
IETF WISH 工作组文档精选评分7878
LiveKit Blog精选评分6262 LiveKit 推出 Agent Simulations，用模拟用户测试语音智能体
LiveKit 面向所有 LiveKit Cloud 项目正式推出 Agent Simulations，用 LLM 驱动的模拟用户按任务级场景跑完整对话，再由 LLM 评审给出通过或失败及原因。文本模拟跳过语音模型、只测对话逻辑，默认低优先级调度，可在每次 PR 上运行并在失败时返回非零退出码；音频模拟覆盖含背景噪声、打断和附和声的完整音频链路，实时运行且计费更高，适合夜间或发布前跑。CLI 可读取智能体代码自动生成场景，场景以 scenarios.yaml 版本化保存。该功能 10 月内免费，但模拟会调用真实智能体的 LLM 及音频模式下的 STT、TTS，按正常费率计费。
推荐理由：LiveKit 把语音智能体测试从逐轮对话提升到任务级模拟，并给出文本与音频两种运行方式的成本取舍。
webrtcHacks精选评分7474 实测：Chrome 新回声消除器把语音代理自问自答率降到 Edge 的五分之一
Chrome 新的 ML 残差回声估计器把语音代理的单词错误率减半，也减少了代理应答自己问候语的情况。作者用 Hugging Face speech-to-speech 搭建语音代理，在相同房间、麦克风和服务器下交替使用 Edge 与 Chrome 各跑一百多次：回声被 STT 当成用户语音的比例为 Edge 21%、Chrome 4%，失败都发生在会话开始后 1.0 到 2.2 秒之间。dump 显示问候语第一段被抑制 51 到 58 dB，约一秒后的第二段却以高于播放 7 到 13 dB 的电平上行，增益控制器在此期间把自适应数字增益从 15 dB 调高，放大了漏出的回声。作者还指出 min_speech_ms 从 500 ms 降到 384 ms 后，三次失败落在 384 到 500 ms 之间，而 smart-turn-v3 以 0.954 的置信度判定回声已说完，说明问题出在流水线看不到的浏览器组件。
推荐理由：作者用 AEC dump 对比 Chrome 与 Edge 的语音代理自问自答率，并给出 VAD 阈值取舍的实测依据。
声网博客精选评分6060 微软发布三款语音模型，流式识别与合成延迟进入百毫秒区间
微软于2026年10月1日发布三款语音模型：流式语音识别MAI-Transcribe-2-Streaming、语音合成MAI-Voice-2.1和MAI-Voice-2.1-Flash。MAI-Transcribe-2-Streaming在用户开始说话后约100毫秒给出首个部分转写结果，代价是模型无法回看整句上下文，易混淆词和被打断场景的出错概率更高；MAI-Voice-2.1-Flash端到端延迟150毫秒，推理速度比上一代提升55%，成本降低约60%，分块生成可能影响语调连贯性。文章还提到ElevenLabs v4 Turbo推理延迟也在100毫秒量级，并指出流式传输下连续小片段丢包会带来明显卡顿。
推荐理由：微软三款语音模型把流式识别与合成延迟压到百毫秒级，可对照理解分块生成在准确率与语调连贯性上的取舍。
Jitsi Blog精选评分6262 Jitsi Meet 推出多屏支持，单次会话可渲染到多个显示器
Jitsi Meet 新增多屏支持，一次会话可把演讲者画面、屏幕共享、白板等分别渲染到多个显示器，无需重复入会。第二屏通过 React portal 复用同一 redux store 和组件，视频轨道用 track.clone() 克隆且不增加解码；由 iframe External API 的 setSecondScreen 命令和三个事件控制，也可在参会者右键菜单等处触发。该功能默认关闭，需配置 secondScreen.enabled=true 开启，目前仅支持 Chromium 系浏览器，且需要弹窗和窗口管理两项权限。
推荐理由：Jitsi Meet 新增多屏渲染能力，读者可了解其与开两个标签页在参会者身份和媒体订阅上的差别。
海外技术动态精选评分5656 Cloudflare Realtime SFU WebSocket 适配器正式 GA
Cloudflare Realtime（原 Calls）平台宣布 SFU WebSocket 适配器正式商用（GA），为基于 WebSocket 的实时应用接入 Realtime SFU 提供正式支持。
推荐理由：Cloudflare Realtime 平台的正式化节点之一，Calls 产品演进的延续。
Pipecat Releases精选评分6262 Pipecat v1.12.0 发布：新增分类器与 MOQ 客户端重连，TTS 支持 IPA 发音映射
Pipecat 发布 v1.12.0，新增 Pipecat Classifiers，可通过 JevClassifier 或 LLMClassifier 对状态提出是/否、选择与评分问题，并新增 TTSService.pronunciation_transform_ipa() 用词到 IPA 的映射控制专有名词发音。MOQTransport 增加客户端模式重连，断线后按退避重拨，MOQParams.connection_timeout 默认由 30 s 改为 60 s；同时弃用 UninterruptibleFrame、BaseUIWorker 等接口，将在 2.0.0 移除。
推荐理由：版本说明覆盖分类器、MOQ 重连与语音合成发音等多项能力变化，并列出弃用与移除项，便于评估升级影响。
Google AI Blog精选评分5858 Made on YouTube 2026：直播粉丝赞助、配音等新工具发布
YouTube 在 Made on YouTube 2026 活动中宣布一批直播工具更新，聚焦粉丝赞助与自动配音等方向，延续其在直播互动与多语言能力上的投入。
推荐理由：YouTube 年度创作者大会的直播相关产品发布，代表其直播产品路线。
LiveKit Blog精选评分5353 LiveKit 推出 Private Links，让托管 Agent 通过云网络私密访问内网资源
LiveKit 发布 Private Links，让 LiveKit 托管的 Agent 通过云网络私密访问敏感内部资源，无需维护公网 IP、入站防火墙规则或 VPN。该功能通过 WireGuard 加密隧道连接 LiveKit 网关，再经 AWS PrivateLink 或 Azure Private Link 进入用户 VPC，仅支持基于 TCP 且完成 TLS 协商的连接，不支持非安全 TCP 和 UDP。目前支持 us-east 与 eu-central 两个 LiveKit 区域，每个项目每区域限 3 条，价格为每条 50 美元加双向 0.10 美元/GB。
推荐理由：面向受监管行业的企业，说明如何在不暴露公网的前提下让托管 Agent 访问内网资源，并给出 AWS 与 Azure 的接入步骤。
Tavus Blog精选评分6666 Tavus 发布 Phoenix-4.5：实时数字人从全脸生成迈向全身动作与对话表现力
Tavus 推出 Phoenix 系列实时数字人模型的 4.5 版本，官方定位为三年来在自然度上最大的一次跨越：在 Phoenix-4 情绪可控、主动聆听与连续面部动作的基础上，把生成范围从嘴部、面部扩展到肩部姿态、头部节奏等身体语言。文章为研究与技术综述，说明该版本对实时对话中临场感（presence）的改进。
推荐理由：实时数字人方向的旗舰产品迭代，直接关系到 Conversational Video Interface 的对话自然度。
Google AI Blog精选评分6262 Google 发布 Gemini 3.8 Live 与 3.5 转写模型
Google 在 Gemini API 与 AI Studio 上线 Gemini 3.8 Live、3.8 Live Extended Thinking 与 3.5 Transcribe：3.8 Live 为原生语音到语音模型，支持异步函数调用（后台执行工具调用同时继续流式输出音频）、视觉上下文与 97+ 语言；3.8 Live Extended Thinking 在 Artificial Analysis 的 Speech-to-Speech 榜单排名第一；3.5 Transcribe 覆盖 85+ 语言，官方给出平均 WER 4.0%（流式）与 2.6%（非流式）。
推荐理由：实时语音链路上游模型的关键更新，直接影响语音 Agent 与实时转写方案的选型。
Tavus Blog精选评分7171 Tavus 发布 Sparrow-2 对话理解模型，在 TurnBench 轮次切换两项任务上领先
Tavus 发布音频原生、流式优先的多语言对话理解模型 Sparrow-2，不再依赖降噪和静音计时器，而是保留并分类背景语音、噪声、反馈语和打断等信号，联合建模语义、韵律与说话人身份。在独立基准 TurnBench 的公开 dev split（38 段对话、7.3 小时音频）上，它取得 92.4% 的轮次结束召回和 97.4% 的打断召回，是唯一同时领先两项任务的系统，中位决策延迟 632 ms，7.6% 的轮次结束未被响应。模型以 10 ms 帧率运行，处理 80 ms 音频约需 7 ms，可容忍 6 至 8 秒的思考停顿，现已通过 Tavus API 和平台正式可用。
推荐理由：Sparrow-2 把轮次切换从端点检测改为整体对话状态建模，并给出与十四套系统的基准对比，可据此判断语音智能体在嘈杂环境中的可用边界。
Pipecat Releases精选评分5252 Pipecat 发布 v1.10.0：支持 openai 3 与 anthropic 1 SDK，Speechmatics 改用 Agent STT
Pipecat 发布 v1.10.0，openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端，TLS 证书改为校验操作系统信任库，精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT（/v2/agent），无法再连接旧实时端点，默认 turn_detection_mode 变为 VAD，默认模型为 linden-1，并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection，DeepSeekLLMService 默认关闭 thinking，LmntTTSService 因 LMNT 关停被移除。
推荐理由：版本说明列出了多项破坏性变更与迁移方式，可据此判断现有语音管线是否需要调整依赖或参数。
中文技术动态精选评分5555 腾讯云 TRTC SDK 13.5 发布：AI 降噪优化与鸿蒙折叠屏适配
TRTC SDK 13.5（2026 年 9 月 10 日发布）优化低信噪比下 AI 降噪与近端信号可懂度、修复 KTV 场景 AIEC 首尾字抑制问题，并适配鸿蒙折叠屏前置摄像头切换等；页面同时保留 13.0 以来 AI 实时转录与翻译、音频水印等版本记录。
推荐理由：TRTC 近一年的版本演进轨迹（AI 转录、音频水印、鸿蒙适配）集中体现在发布日志中。
LiveKit Blog精选评分6262 LiveKit 解释语音智能体中 VAD inference is slower than realtime 警告的含义与排查方法
LiveKit 说明语音智能体日志中的 VAD inference is slower than realtime 警告与 STT、TTS、LLM 模型无关，指的是智能体进程内的语音活动检测模型处理 32ms 音频窗口耗时超过 32ms，警告中的延迟表示 VAD 落后实时音频的程度，Python 以秒、Node.js 以毫秒报告。排查应先排除阻塞事件循环的同步代码，再检查 CPU 负载，可通过 VAD 的 metrics_collected 事件中 inference_duration_total 与 inference_count 的比值判断是 CPU 饥饿还是事件循环阻塞；不要给 VAD 增加线程或调大 max_buffered_speech、num_idle_processes。
推荐理由：LiveKit 官方拆解 VAD 落后于实时音频的成因与排查顺序，可对照日志中的延迟数值定位是 CPU 还是事件循环问题。
中文技术动态精选评分5252 SRS WebRTC over TCP 实战：不经 TURN 的 TCP 直传配置与端口复用方案
讲解 SRS 的 WebRTC over TCP 直传方案：无需部署 TURN，通过 SRS_RTC_SERVER_TCP_ENABLED 等环境变量即可让 UDP 不可用网络下的 WebRTC 走 TCP；支持与 HTTP API/HTTP-FLV 复用同一 TCP 端口（如 8080），并可配合 rtc_to_rtmp 让一个端口同时服务 WebRTC 与 HTTP 直播，便于负载均衡器转发。
推荐理由：UDP 受限网络（企业防火墙、运营商 NAT）是 WebRTC 落地常见痛点，此文给出可直接落地的配置方案。
声网博客精选评分6868 声网 iRTE2026 实时智能大会定档 10 月 23-24 日
声网宣布 iRTE2026 实时智能大会定档 2026 年 10 月 23-24 日举行，是声网年度级别的 RTE 与实时智能方向大会，具体议程以官方页面为准。
推荐理由：声网年度大会动向，通常伴随核心产品与战略发布，值得跟踪。
Hugging Face Speech-to-Speech Releases精选评分6262 Hugging Face speech-to-speech 发布 v1.0.0：统一 Realtime 引擎与 serve/talk/local 三命令
speech-to-speech 项目发布首个大版本 v1.0.0，整合为 serve、talk、local 三个命令，新增 Qwen3-ASR 识别、OpenAI 兼容 STT/TTS 端点、有状态 OpenAI Realtime 转写与实验性 vLLM Realtime 转写，并改进文本/音频/工具调用的有序输出、打断与 会话清理。浏览器演示基于 OpenAI Agents SDK，覆盖 WebSocket 与 WebRTC 两种传输的集成测试，Apple Silicon 默认改用 4-bit Qwen3-4B LLM 与 6-bit Qwen3-TTS。
推荐理由：开源全栈语音对话管线的 1.0 里程碑，命令行与后端生态明显收敛，适合做语音 Agent 自建参考。
LiveKit Blog精选评分7171 LiveKit 发布 Connectors，将 Twilio 和 WhatsApp 通话接入 LiveKit 房间
LiveKit 发布 Connectors，把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间，无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC（ICE、DTLS-SRTP、Opus），Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布，仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用，计费与 SIP 相同，每分钟 0.004 美元（Ship）和 0.003 美元（Scale）。
推荐理由：LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间，读者可据此判断现有 SIP 方案是否要改。
Inworld AI Blog精选评分7070 Inworld Realtime TTS-2 正式可用：听全上下文、自然语言导声、100+ 语言单一音色
Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用（GA），面向实时对话设计：模型接收完整对话音频，感知用户的语气、节奏与情绪状态，并支持用自然语言像提示 LLM 一样下达 voice direction；同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。
推荐理由：实时 TTS 从静态朗读转向双向对话的关键产品节点，100+ 语言音色一致性对全球化语音 Agent 影响直接。