跳到正文
  1. LiveKit Blog62

    LiveKit 推出 Agent Simulations,用模拟用户测试语音智能体

    LiveKit 面向所有 LiveKit Cloud 项目正式推出 Agent Simulations,用 LLM 驱动的模拟用户按任务级场景跑完整对话,再由 LLM 评审给出通过或失败及原因。文本模拟跳过语音模型、只测对话逻辑,默认低优先级调度,可在每次 PR 上运行并在失败时返回非零退出码;音频模拟覆盖含背景噪声、打断和附和声的完整音频链路,实时运行且计费更高,适合夜间或发布前跑。CLI 可读取智能体代码自动生成场景,场景以 scenarios.yaml 版本化保存。该功能 10 月内免费,但模拟会调用真实智能体的 LLM 及音频模式下的 STT、TTS,按正常费率计费。

    推荐理由:LiveKit 把语音智能体测试从逐轮对话提升到任务级模拟,并给出文本与音频两种运行方式的成本取舍。

  1. Jitsi Blog62

    Jitsi Meet 推出多屏支持,单次会话可渲染到多个显示器

    Jitsi Meet 新增多屏支持,一次会话可把演讲者画面、屏幕共享、白板等分别渲染到多个显示器,无需重复入会。第二屏通过 React portal 复用同一 redux store 和组件,视频轨道用 track.clone() 克隆且不增加解码;由 iframe External API 的 setSecondScreen 命令和三个事件控制,也可在参会者右键菜单等处触发。该功能默认关闭,需配置 secondScreen.enabled=true 开启,目前仅支持 Chromium 系浏览器,且需要弹窗和窗口管理两项权限。

    推荐理由:Jitsi Meet 新增多屏渲染能力,读者可了解其与开两个标签页在参会者身份和媒体订阅上的差别。

  1. 海外技术动态56

    Cloudflare Realtime SFU WebSocket 适配器正式 GA

    Cloudflare Realtime(原 Calls)平台宣布 SFU WebSocket 适配器正式商用(GA),为基于 WebSocket 的实时应用接入 Realtime SFU 提供正式支持。

    推荐理由:Cloudflare Realtime 平台的正式化节点之一,Calls 产品演进的延续。

  1. Pipecat Releases62

    Pipecat v1.12.0 发布:新增分类器与 MOQ 客户端重连,TTS 支持 IPA 发音映射

    Pipecat 发布 v1.12.0,新增 Pipecat Classifiers,可通过 JevClassifier 或 LLMClassifier 对状态提出是/否、选择与评分问题,并新增 TTSService.pronunciation_transform_ipa() 用词到 IPA 的映射控制专有名词发音。MOQTransport 增加客户端模式重连,断线后按退避重拨,MOQParams.connection_timeout 默认由 30 s 改为 60 s;同时弃用 UninterruptibleFrame、BaseUIWorker 等接口,将在 2.0.0 移除。

    推荐理由:版本说明覆盖分类器、MOQ 重连与语音合成发音等多项能力变化,并列出弃用与移除项,便于评估升级影响。

  1. Google AI Blog58

    Made on YouTube 2026:直播粉丝赞助、配音等新工具发布

    YouTube 在 Made on YouTube 2026 活动中宣布一批直播工具更新,聚焦粉丝赞助与自动配音等方向,延续其在直播互动与多语言能力上的投入。

    推荐理由:YouTube 年度创作者大会的直播相关产品发布,代表其直播产品路线。

  1. LiveKit Blog53

    LiveKit 推出 Private Links,让托管 Agent 通过云网络私密访问内网资源

    LiveKit 发布 Private Links,让 LiveKit 托管的 Agent 通过云网络私密访问敏感内部资源,无需维护公网 IP、入站防火墙规则或 VPN。该功能通过 WireGuard 加密隧道连接 LiveKit 网关,再经 AWS PrivateLink 或 Azure Private Link 进入用户 VPC,仅支持基于 TCP 且完成 TLS 协商的连接,不支持非安全 TCP 和 UDP。目前支持 us-east 与 eu-central 两个 LiveKit 区域,每个项目每区域限 3 条,价格为每条 50 美元加双向 0.10 美元/GB。

    推荐理由:面向受监管行业的企业,说明如何在不暴露公网的前提下让托管 Agent 访问内网资源,并给出 AWS 与 Azure 的接入步骤。

  2. Tavus Blog66

    Tavus 发布 Phoenix-4.5:实时数字人从全脸生成迈向全身动作与对话表现力

    Tavus 推出 Phoenix 系列实时数字人模型的 4.5 版本,官方定位为三年来在自然度上最大的一次跨越:在 Phoenix-4 情绪可控、主动聆听与连续面部动作的基础上,把生成范围从嘴部、面部扩展到肩部姿态、头部节奏等身体语言。文章为研究与技术综述,说明该版本对实时对话中临场感(presence)的改进。

    推荐理由:实时数字人方向的旗舰产品迭代,直接关系到 Conversational Video Interface 的对话自然度。

  1. Google AI Blog62

    Google 发布 Gemini 3.8 Live 与 3.5 转写模型

    Google 在 Gemini API 与 AI Studio 上线 Gemini 3.8 Live、3.8 Live Extended Thinking 与 3.5 Transcribe:3.8 Live 为原生语音到语音模型,支持异步函数调用(后台执行工具调用同时继续流式输出音频)、视觉上下文与 97+ 语言;3.8 Live Extended Thinking 在 Artificial Analysis 的 Speech-to-Speech 榜单排名第一;3.5 Transcribe 覆盖 85+ 语言,官方给出平均 WER 4.0%(流式)与 2.6%(非流式)。

    推荐理由:实时语音链路上游模型的关键更新,直接影响语音 Agent 与实时转写方案的选型。

  1. Pipecat Releases52

    Pipecat 发布 v1.10.0:支持 openai 3 与 anthropic 1 SDK,Speechmatics 改用 Agent STT

    Pipecat 发布 v1.10.0,openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端,TLS 证书改为校验操作系统信任库,精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT(/v2/agent),无法再连接旧实时端点,默认 turn_detection_mode 变为 VAD,默认模型为 linden-1,并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection,DeepSeekLLMService 默认关闭 thinking,LmntTTSService 因 LMNT 关停被移除。

    推荐理由:版本说明列出了多项破坏性变更与迁移方式,可据此判断现有语音管线是否需要调整依赖或参数。

  1. 中文技术动态55

    腾讯云 TRTC SDK 13.5 发布:AI 降噪优化与鸿蒙折叠屏适配

    TRTC SDK 13.5(2026 年 9 月 10 日发布)优化低信噪比下 AI 降噪与近端信号可懂度、修复 KTV 场景 AIEC 首尾字抑制问题,并适配鸿蒙折叠屏前置摄像头切换等;页面同时保留 13.0 以来 AI 实时转录与翻译、音频水印等版本记录。

    推荐理由:TRTC 近一年的版本演进轨迹(AI 转录、音频水印、鸿蒙适配)集中体现在发布日志中。

  1. Hugging Face Speech-to-Speech Releases62

    Hugging Face speech-to-speech 发布 v1.0.0:统一 Realtime 引擎与 serve/talk/local 三命令

    speech-to-speech 项目发布首个大版本 v1.0.0,整合为 serve、talk、local 三个命令,新增 Qwen3-ASR 识别、OpenAI 兼容 STT/TTS 端点、有状态 OpenAI Realtime 转写与实验性 vLLM Realtime 转写,并改进文本/音频/工具调用的有序输出、打断与 会话清理。浏览器演示基于 OpenAI Agents SDK,覆盖 WebSocket 与 WebRTC 两种传输的集成测试,Apple Silicon 默认改用 4-bit Qwen3-4B LLM 与 6-bit Qwen3-TTS。

    推荐理由:开源全栈语音对话管线的 1.0 里程碑,命令行与后端生态明显收敛,适合做语音 Agent 自建参考。

  1. LiveKit Blog71

    LiveKit 发布 Connectors,将 Twilio 和 WhatsApp 通话接入 LiveKit 房间

    LiveKit 发布 Connectors,把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间,无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC(ICE、DTLS-SRTP、Opus),Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布,仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用,计费与 SIP 相同,每分钟 0.004 美元(Ship)和 0.003 美元(Scale)。

    推荐理由:LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间,读者可据此判断现有 SIP 方案是否要改。

  1. Inworld AI Blog70

    Inworld Realtime TTS-2 正式可用:听全上下文、自然语言导声、100+ 语言单一音色

    Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用(GA),面向实时对话设计:模型接收完整对话音频,感知用户的语气、节奏与情绪状态,并支持用自然语言像提示 LLM 一样下达 voice direction;同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。

    推荐理由:实时 TTS 从静态朗读转向双向对话的关键产品节点,100+ 语言音色一致性对全球化语音 Agent 影响直接。

  1. 海外技术动态55

    mediasoup-client 3.23.0 新增 RTP 扩展控制能力

    mediasoup-client 3.23.0 移除 transport.produce() 的 headerExtensionOptions,改为 Device 层 forcedRtpExtensions 按扩展 URI 强制开/关;该能力目前仅最新 Chrome 支持 WebRTC RTP Extension Control API,并修复了 Canary 149 中 abs-capture-time 引发的 codec collision 报错。

    推荐理由:浏览器 RTP 扩展控制能力落地到主流 SFU 客户端库,影响采集时间同步等特性接入方式。

  1. LiveKit Blog62

    LiveKit Agents 推出 expressive mode,让语音智能体按对话情绪调整语气

    LiveKit 在 LiveKit Agents 中发布 expressive mode,用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言,由框架统一转换,并会把多句合并成更大块再送入 TTS,以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型,前端可通过 lk.expression 属性获取情绪信号。

    推荐理由:LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记,并给出开启方式与前端联动做法。

  1. LiveKit Blog62

    LiveKit Unity SDK 2.0.0 正式发布,结束开发者预览

    LiveKit 正式发布 Unity SDK v2.0.0,将其从开发者预览转为正式版本,并称该 SDK 已与现有 LiveKit SDK 达到功能对齐。开发者可在 Unity 游戏中接入实时语音、视频和 AI,用于语音聊天、音视频直播、VR 远程操控机器人以及语音 AI 驱动的 NPC。2.0.0 带来移动端和桌面端的原生平台音频、基于 DataTracks 的高频数据消息和可配置 token 源的简化鉴权;官方支持 Unity 2022.3 及以上版本,覆盖 macOS、Windows、Linux、iOS 和 Android。

    推荐理由:LiveKit Unity SDK 结束开发者预览并达到与其他 SDK 的功能对齐,可据此判断现有 Unity 项目是否迁移。

  1. Cartesia Blog62

    Cartesia 发布面向实时语音代理的语音识别模型 Ink-2

    Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。

    推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。

  1. Tavus Blog72

    Tavus PAL 可作为真实参会者加入 Google Meet,Zoom 与 Teams 支持在途

    Tavus 宣布 PAL 可像邀请同事一样加入 Google Meet:开摄像头、跟随对话并实时应答,可做会议记录、随行销售通话或主持站会;官方称 Zoom 与 Microsoft Teams 支持为下一步。

    推荐理由:AI 视频智能体深度嵌入主流视频会议平台,是行业级产品动作。

  1. 中文技术动态60

    腾讯云 Tencent-RTC 云游戏实践:稳定网络端到端 50-70ms

    腾讯云游戏用自研 Tencent-RTC 做抗抖动与网络自适应:发送端缓存视频帧、接收端按网络动态调缓冲深度,并用预测算法生成中间帧补偿丢包;传输上基于 UDP 并叠加 FEC 与 ARQ,按数据类型(游戏指令、视频帧、音频)设差异化优先级;量化表现为稳定网络下端到端 50-70ms,盛趣游戏案例做到 1080P/60 帧下延迟小于 40ms,全球部署 2000+ 边缘节点。

    推荐理由:云游戏这一延迟最敏感场景的厂商实测数据与机制说明,40ms/1080P60 的案例有参考价值。

  1. 腾讯云音视频专区58

    腾讯云应用云渲染弱网体系:自适应编码、弹性帧率与智能码控协同

    把弱网分为带宽抖动、高丢包、高延迟、持续拥塞四类,对应三件武器——自适应编码动态调码率与量化参数、弹性帧率从 60/120fps 平滑降到 30fps、关键帧与参考帧选择性重传;核心是用智能码控统一决策“降码率 vs 降帧率 vs 加重传”,避免编码器与重传模块策略打架导致总带宽失控。

    推荐理由:讲清了多机制并发时的策略冲突与统一指挥思路,对自建弱网策略编排有启发。