RFC 9725 定稿：WebRTC-HTTP 摄取协议 WHIP 成为正式标准
WISH 工作组的 WHIP 于 2025 年 3 月发布为 RFC 9725（Standards Track），定义基于 HTTP 的简单协议，让 WebRTC 内容可标准化地推入流媒体服务与 CDN，同时更新 RFC 8840 和 RFC 8842。
推荐理由：WHIP 从草案转正为正式 RFC，是 WebRTC 推流标准化的行业级节点。
#实时音视频
IETF WISH 工作组文档精选评分7878
LiveKit Blog精选评分6262 LiveKit 推出 Agent Simulations，用模拟用户测试语音智能体
LiveKit 面向所有 LiveKit Cloud 项目正式推出 Agent Simulations，用 LLM 驱动的模拟用户按任务级场景跑完整对话，再由 LLM 评审给出通过或失败及原因。文本模拟跳过语音模型、只测对话逻辑，默认低优先级调度，可在每次 PR 上运行并在失败时返回非零退出码；音频模拟覆盖含背景噪声、打断和附和声的完整音频链路，实时运行且计费更高，适合夜间或发布前跑。CLI 可读取智能体代码自动生成场景，场景以 scenarios.yaml 版本化保存。该功能 10 月内免费，但模拟会调用真实智能体的 LLM 及音频模式下的 STT、TTS，按正常费率计费。
推荐理由：LiveKit 把语音智能体测试从逐轮对话提升到任务级模拟，并给出文本与音频两种运行方式的成本取舍。
声网博客精选评分6060 微软发布三款语音模型，流式识别与合成延迟进入百毫秒区间
微软于2026年10月1日发布三款语音模型：流式语音识别MAI-Transcribe-2-Streaming、语音合成MAI-Voice-2.1和MAI-Voice-2.1-Flash。MAI-Transcribe-2-Streaming在用户开始说话后约100毫秒给出首个部分转写结果，代价是模型无法回看整句上下文，易混淆词和被打断场景的出错概率更高；MAI-Voice-2.1-Flash端到端延迟150毫秒，推理速度比上一代提升55%，成本降低约60%，分块生成可能影响语调连贯性。文章还提到ElevenLabs v4 Turbo推理延迟也在100毫秒量级，并指出流式传输下连续小片段丢包会带来明显卡顿。
推荐理由：微软三款语音模型把流式识别与合成延迟压到百毫秒级，可对照理解分块生成在准确率与语调连贯性上的取舍。
Jitsi Blog精选评分6262 Jitsi Meet 推出多屏支持，单次会话可渲染到多个显示器
Jitsi Meet 新增多屏支持，一次会话可把演讲者画面、屏幕共享、白板等分别渲染到多个显示器，无需重复入会。第二屏通过 React portal 复用同一 redux store 和组件，视频轨道用 track.clone() 克隆且不增加解码；由 iframe External API 的 setSecondScreen 命令和三个事件控制，也可在参会者右键菜单等处触发。该功能默认关闭，需配置 secondScreen.enabled=true 开启，目前仅支持 Chromium 系浏览器，且需要弹窗和窗口管理两项权限。
推荐理由：Jitsi Meet 新增多屏渲染能力，读者可了解其与开两个标签页在参会者身份和媒体订阅上的差别。
Pipecat Releases精选评分6262 Pipecat v1.12.0 发布：新增分类器与 MOQ 客户端重连，TTS 支持 IPA 发音映射
Pipecat 发布 v1.12.0，新增 Pipecat Classifiers，可通过 JevClassifier 或 LLMClassifier 对状态提出是/否、选择与评分问题，并新增 TTSService.pronunciation_transform_ipa() 用词到 IPA 的映射控制专有名词发音。MOQTransport 增加客户端模式重连，断线后按退避重拨，MOQParams.connection_timeout 默认由 30 s 改为 60 s；同时弃用 UninterruptibleFrame、BaseUIWorker 等接口，将在 2.0.0 移除。
推荐理由：版本说明覆盖分类器、MOQ 重连与语音合成发音等多项能力变化，并列出弃用与移除项，便于评估升级影响。
Google AI Blog精选评分5858 Made on YouTube 2026：直播粉丝赞助、配音等新工具发布
YouTube 在 Made on YouTube 2026 活动中宣布一批直播工具更新，聚焦粉丝赞助与自动配音等方向，延续其在直播互动与多语言能力上的投入。
推荐理由：YouTube 年度创作者大会的直播相关产品发布，代表其直播产品路线。
LiveKit Blog精选评分5353 LiveKit 推出 Private Links，让托管 Agent 通过云网络私密访问内网资源
LiveKit 发布 Private Links，让 LiveKit 托管的 Agent 通过云网络私密访问敏感内部资源，无需维护公网 IP、入站防火墙规则或 VPN。该功能通过 WireGuard 加密隧道连接 LiveKit 网关，再经 AWS PrivateLink 或 Azure Private Link 进入用户 VPC，仅支持基于 TCP 且完成 TLS 协商的连接，不支持非安全 TCP 和 UDP。目前支持 us-east 与 eu-central 两个 LiveKit 区域，每个项目每区域限 3 条，价格为每条 50 美元加双向 0.10 美元/GB。
推荐理由：面向受监管行业的企业，说明如何在不暴露公网的前提下让托管 Agent 访问内网资源，并给出 AWS 与 Azure 的接入步骤。
Tavus Blog精选评分6666 Tavus 发布 Phoenix-4.5：实时数字人从全脸生成迈向全身动作与对话表现力
Tavus 推出 Phoenix 系列实时数字人模型的 4.5 版本，官方定位为三年来在自然度上最大的一次跨越：在 Phoenix-4 情绪可控、主动聆听与连续面部动作的基础上，把生成范围从嘴部、面部扩展到肩部姿态、头部节奏等身体语言。文章为研究与技术综述，说明该版本对实时对话中临场感（presence）的改进。
推荐理由：实时数字人方向的旗舰产品迭代，直接关系到 Conversational Video Interface 的对话自然度。
Google AI Blog精选评分6262 Google 发布 Gemini 3.8 Live 与 3.5 转写模型
Google 在 Gemini API 与 AI Studio 上线 Gemini 3.8 Live、3.8 Live Extended Thinking 与 3.5 Transcribe：3.8 Live 为原生语音到语音模型，支持异步函数调用（后台执行工具调用同时继续流式输出音频）、视觉上下文与 97+ 语言；3.8 Live Extended Thinking 在 Artificial Analysis 的 Speech-to-Speech 榜单排名第一；3.5 Transcribe 覆盖 85+ 语言，官方给出平均 WER 4.0%（流式）与 2.6%（非流式）。
推荐理由：实时语音链路上游模型的关键更新，直接影响语音 Agent 与实时转写方案的选型。
Tavus Blog精选评分7171 Tavus 发布 Sparrow-2 对话理解模型，在 TurnBench 轮次切换两项任务上领先
Tavus 发布音频原生、流式优先的多语言对话理解模型 Sparrow-2，不再依赖降噪和静音计时器，而是保留并分类背景语音、噪声、反馈语和打断等信号，联合建模语义、韵律与说话人身份。在独立基准 TurnBench 的公开 dev split（38 段对话、7.3 小时音频）上，它取得 92.4% 的轮次结束召回和 97.4% 的打断召回，是唯一同时领先两项任务的系统，中位决策延迟 632 ms，7.6% 的轮次结束未被响应。模型以 10 ms 帧率运行，处理 80 ms 音频约需 7 ms，可容忍 6 至 8 秒的思考停顿，现已通过 Tavus API 和平台正式可用。
推荐理由：Sparrow-2 把轮次切换从端点检测改为整体对话状态建模，并给出与十四套系统的基准对比，可据此判断语音智能体在嘈杂环境中的可用边界。
Pipecat Releases精选评分5252 Pipecat 发布 v1.10.0：支持 openai 3 与 anthropic 1 SDK，Speechmatics 改用 Agent STT
Pipecat 发布 v1.10.0，openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端，TLS 证书改为校验操作系统信任库，精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT（/v2/agent），无法再连接旧实时端点，默认 turn_detection_mode 变为 VAD，默认模型为 linden-1，并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection，DeepSeekLLMService 默认关闭 thinking，LmntTTSService 因 LMNT 关停被移除。
推荐理由：版本说明列出了多项破坏性变更与迁移方式，可据此判断现有语音管线是否需要调整依赖或参数。
LiveKit Blog精选评分6262 LiveKit 解释语音智能体中 VAD inference is slower than realtime 警告的含义与排查方法
LiveKit 说明语音智能体日志中的 VAD inference is slower than realtime 警告与 STT、TTS、LLM 模型无关，指的是智能体进程内的语音活动检测模型处理 32ms 音频窗口耗时超过 32ms，警告中的延迟表示 VAD 落后实时音频的程度，Python 以秒、Node.js 以毫秒报告。排查应先排除阻塞事件循环的同步代码，再检查 CPU 负载，可通过 VAD 的 metrics_collected 事件中 inference_duration_total 与 inference_count 的比值判断是 CPU 饥饿还是事件循环阻塞；不要给 VAD 增加线程或调大 max_buffered_speech、num_idle_processes。
推荐理由：LiveKit 官方拆解 VAD 落后于实时音频的成因与排查顺序，可对照日志中的延迟数值定位是 CPU 还是事件循环问题。
声网博客精选评分6868 声网 iRTE2026 实时智能大会定档 10 月 23-24 日
声网宣布 iRTE2026 实时智能大会定档 2026 年 10 月 23-24 日举行，是声网年度级别的 RTE 与实时智能方向大会，具体议程以官方页面为准。
推荐理由：声网年度大会动向，通常伴随核心产品与战略发布，值得跟踪。
Hugging Face Speech-to-Speech Releases精选评分6262 Hugging Face speech-to-speech 发布 v1.0.0：统一 Realtime 引擎与 serve/talk/local 三命令
speech-to-speech 项目发布首个大版本 v1.0.0，整合为 serve、talk、local 三个命令，新增 Qwen3-ASR 识别、OpenAI 兼容 STT/TTS 端点、有状态 OpenAI Realtime 转写与实验性 vLLM Realtime 转写，并改进文本/音频/工具调用的有序输出、打断与 会话清理。浏览器演示基于 OpenAI Agents SDK，覆盖 WebSocket 与 WebRTC 两种传输的集成测试，Apple Silicon 默认改用 4-bit Qwen3-4B LLM 与 6-bit Qwen3-TTS。
推荐理由：开源全栈语音对话管线的 1.0 里程碑，命令行与后端生态明显收敛，适合做语音 Agent 自建参考。
LiveKit Blog精选评分7171 LiveKit 发布 Connectors，将 Twilio 和 WhatsApp 通话接入 LiveKit 房间
LiveKit 发布 Connectors，把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间，无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC（ICE、DTLS-SRTP、Opus），Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布，仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用，计费与 SIP 相同，每分钟 0.004 美元（Ship）和 0.003 美元（Scale）。
推荐理由：LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间，读者可据此判断现有 SIP 方案是否要改。
Inworld AI Blog精选评分7070 Inworld Realtime TTS-2 正式可用：听全上下文、自然语言导声、100+ 语言单一音色
Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用（GA），面向实时对话设计：模型接收完整对话音频，感知用户的语气、节奏与情绪状态，并支持用自然语言像提示 LLM 一样下达 voice direction；同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。
推荐理由：实时 TTS 从静态朗读转向双向对话的关键产品节点，100+ 语言音色一致性对全球化语音 Agent 影响直接。
LiveKit Blog精选评分6262 LiveKit 解析语音智能体短语音应答失败的原因与排查方法
LiveKit 发文梳理语音智能体对 yes、no、ok 等短语音应答失败的原因，指出回合结束需要 final_transcript 和 end_of_speech 两个事件同时满足，中间转写不会关闭回合。文章列举 STT 未生成最终转写、端点检测过于激进或过于宽松、噪声抑制误删短语音、SIP 通话质量差以及 backchannel 被误判为打断等成因，并给出对应做法，包括启用 transcription_timeout 做优雅恢复、turn_detection="stt" 时将 endpointing.min_delay 设为 0、按场景选择 voice isolation 或 background noise suppression、优先使用 G.722 等支持 HD voice 的编解码器，以及用自适应打断处理识别 backchannel。
推荐理由：LiveKit 官方梳理短语音回合检测失败的常见成因，并给出可逐项排查的配置与恢复手段。
声网博客精选评分6262 声网讲解游戏语音质量评估：接通率、卡顿率、延迟与弱网恢复的排查方法
声网发布游戏语音质量评估方法，把语音可用拆成加入频道、发布订阅、音频播放等环节，建议接通率按进入队伍后 5 秒内成功加入频道并接收至少一名队友音频来统计，持续低于 98% 视为链路存在系统性问题。排查上先查频道、订阅和音频路由状态再查网络，用 audioLossRate、frozenRate、networkTransportDelay、jitterBufferDelay、e2eDelay 和 mosValue 区分网络卡顿与客户端卡顿，并给出首版质量看板的八项核心指标。
推荐理由：声网把游戏语音质量拆成接通率、卡顿率、延迟和弱网恢复四类指标，并给出可复用的排查顺序与看板指标。
LiveKit Blog精选评分6262 LiveKit Agents 推出 expressive mode，让语音智能体按对话情绪调整语气
LiveKit 在 LiveKit Agents 中发布 expressive mode，用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言，由框架统一转换，并会把多句合并成更大块再送入 TTS，以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型，前端可通过 lk.expression 属性获取情绪信号。
推荐理由：LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记，并给出开启方式与前端联动做法。
声网博客精选评分6262 声网拆解游戏语音卡顿排查：从玩家反馈到 RTC 指标的质量监控方法
声网发布游戏语音质量监控方法，把语音可用链路拆成开启语音、获取频道信息、加入频道、发布订阅、音频播放五个时间点，建议接通率以最后必要环节为准，持续低于 98% 通常说明存在系统性问题。文章结合 Unity RTC 回调给出排查顺序：听不到先查频道、OnRemoteAudioStateChanged 订阅状态和音频路由，再查网络；卡顿用 OnRemoteAudioStats 的 audioLossRate、frozenRate、jitterBufferDelay、e2eDelay 和 mosValue 区分网络与客户端问题，并建议质量看板先保留接通率、可听首帧时间、卡顿率、端到端延迟 P95 等八项指标。
推荐理由：声网结合自家 Unity RTC 回调，把游戏语音从玩家反馈到指标看板的排查链路拆成可落地步骤。