Agora 推出新一代语音方案:面向语音 AI 开发者的 Gemini 3.8 Flash TTS
Agora 面向语音 AI 开发者推出基于 Gemini 3.8 Flash TTS 的新一代语音能力,定位新一代对话式语音合成,服务其 ConvoAI/语音 Agent 场景。
推荐理由:声网接入 Google 新一代 TTS 模型,反映模型层与 RTE 平台层加速融合。
Agora 面向语音 AI 开发者推出基于 Gemini 3.8 Flash TTS 的新一代语音能力,定位新一代对话式语音合成,服务其 ConvoAI/语音 Agent 场景。
推荐理由:声网接入 Google 新一代 TTS 模型,反映模型层与 RTE 平台层加速融合。
YouTube 在 Made on YouTube 2026 活动中宣布一批直播工具更新,聚焦粉丝赞助与自动配音等方向,延续其在直播互动与多语言能力上的投入。
推荐理由:YouTube 年度创作者大会的直播相关产品发布,代表其直播产品路线。
TEN Framework 发布 0.11.73,新增 ASR 的 rtzr 流式扩展和 TTS 评审技能,并支持日志配置热重载。该版本还移除了 Cartesia TTS 的默认 output_format,修复了 codex_base_url、覆盖率 LLVM 工具链与 Rust nightly 对齐等问题。
LiveKit 发布 Private Links,让 LiveKit 托管的 Agent 通过云网络私密访问敏感内部资源,无需维护公网 IP、入站防火墙规则或 VPN。该功能通过 WireGuard 加密隧道连接 LiveKit 网关,再经 AWS PrivateLink 或 Azure Private Link 进入用户 VPC,仅支持基于 TCP 且完成 TLS 协商的连接,不支持非安全 TCP 和 UDP。目前支持 us-east 与 eu-central 两个 LiveKit 区域,每个项目每区域限 3 条,价格为每条 50 美元加双向 0.10 美元/GB。
推荐理由:面向受监管行业的企业,说明如何在不暴露公网的前提下让托管 Agent 访问内网资源,并给出 AWS 与 Azure 的接入步骤。
Tavus 为 PALs 推出长期记忆功能 Memories,按每段 PAL 与用户的关系维护独立的记忆存储,包含描述用户偏好与目标的 Profile 和记录对话事件的 Timeline。该设计将实时对话所需的持续关系上下文与按需历史检索分离,避免每次响应前增加搜索步骤;记忆内容可查看、纠正和删除。
Tavus 推出 Phoenix 系列实时数字人模型的 4.5 版本,官方定位为三年来在自然度上最大的一次跨越:在 Phoenix-4 情绪可控、主动聆听与连续面部动作的基础上,把生成范围从嘴部、面部扩展到肩部姿态、头部节奏等身体语言。文章为研究与技术综述,说明该版本对实时对话中临场感(presence)的改进。
推荐理由:实时数字人方向的旗舰产品迭代,直接关系到 Conversational Video Interface 的对话自然度。
Zoom Contact Center 的 RTMS 支持管理员通过 API 手动控制流,可执行 start、stop、pause、resume 四种操作。使用需管理员权限与 RTMS 许可证,应用需添加 contact_center_rtms:write:admin 权限范围,并在集成设置中关闭 auto 开关。调用时以 PUT 请求携带活跃 engagement ID 和已授权应用的 client ID,可程序化或按流程事件触发。
MediaMTX v1.21.1 修复了 WebRTC 播放 AV1 流时因编码器填充 OBU padding 导致的卡顿,并过滤 DJI 无人机流中特定 UUID 的 SEI 单元以解决 Chrome 和 Firefox 解码卡死。HLS 会话改由服务器管理,muxer 关闭后会话保留最多 30 秒并返回 404 而非 401。此外要求浏览器 POST 请求携带允许的 origin,并修复 H265 DTS 提取与 MP4 封装等多项问题。
SRS 发布 7.0 首个 alpha 版本 7.0-a0(v7.0.162),相比 v7.0-d0 聚焦安全与稳定性修复。其中将 libsrt 从 1.5.3 升级到 1.5.6 以修复 CVE-2026-55868/55869,并修复 WebRTC 播放视频编解码器应答、RTMP 严格客户端 chunk stream ID 恢复及 ParseBody 资源泄漏等问题。
TEN Framework 发布 0.11.72,新增讯飞(iFLYTEK)ASR 扩展并支持嵌套参数,同时为腾讯 ASR 的厂商元数据加入 appid。该版本修复了字节跳动 ASR 的厂商代码字符串化、Smallest 消息循环退出后重连、Fish Audio TTS 刷新等问题,并将字节跳动 ASR 版本升至 0.5.5、Deepgram ASR 升至 0.5.2。
FunASR 1.4.16 发布,修复混合设备推理中 vad_kwargs、punc_kwargs、spk_kwargs 的设备放置问题:重复推理调用不再改变已加载模型的设备配置,说话人推理改用说话人模型自身配置。该版本同时说明 SenseVoiceSmall 或 Paraformer 何时需要 CT-Transformer 标点后处理,并新增经测试的中英文原生 Transformers 使用指南。混合设备回归测试使用 CPU 占位权重与模拟加速器,不构成 CUDA、MPS 或 NPU 性能认证。
阿里云百炼上线 Qwen3.8-LiveTranslate-Flash-Realtime 实时音视频同传大模型,支持离线与实时两种翻译能力,能听懂 60 种语言、以 29 种语言语音输出;相较 qwen3.5-livetranslate-flash-realtime,端到端时延降至约 2.3 秒,新增实时说话人分离与默认开启的 ASR 转写,经 WebSocket Realtime API 调用。
推荐理由:国内实时同传模型在语言覆盖与时延上的明确代际数据,是出海与跨语言 Agent 的直接供给。
Higgs TTS 3 API 新增文本归一化与词级时间戳:归一化默认开启,可将数字、日期、货币、URL、缩写等改写为口语形式,自动识别中英法德等 14 种语言,也可用 enable_tn: false 关闭。词级时间戳需设 timestamps: true,目前支持英语、中文和西班牙语,其他语言返回 null,且需将 stream 设为 false,与流式同用会返回 400 错误。
WebKit 发布 Safari 27.0,特性数量从 6 月首个测试版的 58 项增至 80 项,并累计修复 844 个问题。新增的 Safari MCP 服务器让 Claude Code、Codex 等编码代理访问 DOM、网络请求、截图和控制台输出,完全在本地运行。可定制 select 通过 appearance: base-select 支持完全重设样式,model 元素扩展到 iOS、iPadOS 和 macOS,visionOS 网站可提供沉浸式环境。
推荐理由:Safari 27.0 一次性放出 80 项特性与 844 项修复,可据此判断哪些新 API 和既有行为变化会影响现有站点。
LiveKit 推出 Startup Program,为符合条件的早期创业公司提供约 23,000 美元总价值额度,包括 7,000 美元推理额度(覆盖 7 家合作方)、10,000 美元 LiveKit Cloud 额度和一年 Scale 计划(原价 500 美元/月)。所有模型通过 LiveKit Inference 调用,无需单独账号或 API key,且默认启用零数据留存。申请者须员工少于 50 人、融资低于 500 万美元,并将语音、视频或物理 AI 作为产品核心。
Google 在 Gemini API 与 AI Studio 上线 Gemini 3.8 Live、3.8 Live Extended Thinking 与 3.5 Transcribe:3.8 Live 为原生语音到语音模型,支持异步函数调用(后台执行工具调用同时继续流式输出音频)、视觉上下文与 97+ 语言;3.8 Live Extended Thinking 在 Artificial Analysis 的 Speech-to-Speech 榜单排名第一;3.5 Transcribe 覆盖 85+ 语言,官方给出平均 WER 4.0%(流式)与 2.6%(非流式)。
推荐理由:实时语音链路上游模型的关键更新,直接影响语音 Agent 与实时转写方案的选型。
Bitmovin 编码器 2.285.0(2026-09-15 发布)改进 AV1 Three-Pass 算法,针对 4K 及更低分辨率内容调优至约 10% BD-rate 节省,并为 AV1 Per-Title 目标 CRF 引入自适应逻辑:根据分辨率、帧率与 HDR 格式(HDR10/HLG 各降 2、Dolby Vision 降 4)自动推导起点 CRF,最低可至 26。同版本还改进直播重连稳定性并新增心跳 webhook。
推荐理由:商业云编码器在 AV1 三遍编码上的量化收益数据,可作为 AV1 转码成本评估的对照基准。
LiveKit Server 发布 v1.13.7,新增 VP9/AV1 simulcast 支持,并为 udp:// URL 拉流 ingress 加入可选支持。该版本还让 LocalParticipant 新增 GetSubscribedDataTracks,TCP 监听器上的 TURN 开始接受 PROXY protocol,并修复了数据轨道订阅死锁等问题。
Pipecat 发布 v1.10.0,openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端,TLS 证书改为校验操作系统信任库,精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT(/v2/agent),无法再连接旧实时端点,默认 turn_detection_mode 变为 VAD,默认模型为 linden-1,并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection,DeepSeekLLMService 默认关闭 thinking,LmntTTSService 因 LMNT 关停被移除。
推荐理由:版本说明列出了多项破坏性变更与迁移方式,可据此判断现有语音管线是否需要调整依赖或参数。
FunASR 1.4.15 发布,移除 NumPy 版本上限并兼容 NumPy 2,同时修复 KWS 跨包/EOS 边界丢帧、动态 VAD 静音调度计入空闲时间及检查点排序纳入无效验证指标等问题。该版本还新增 MOSS 的 Gradio 配置与离线 vLLM 整段转写示例,支持时间戳和匿名说话人标签。NumPy 兼容性仅在 Linux/Python 3.12、NumPy 1.26.4 与 2.4.0 环境下验证,不保证覆盖所有历史依赖与 GPU 组合。
TRTC SDK 13.5(2026 年 9 月 10 日发布)优化低信噪比下 AI 降噪与近端信号可懂度、修复 KTV 场景 AIEC 首尾字抑制问题,并适配鸿蒙折叠屏前置摄像头切换等;页面同时保留 13.0 以来 AI 实时转录与翻译、音频水印等版本记录。
推荐理由:TRTC 近一年的版本演进轨迹(AI 转录、音频水印、鸿蒙适配)集中体现在发布日志中。
Bitmovin Encoder Version 3 在 IBC 2026 开放 beta:新 HEVC 编解码器在 per-title 编码下同画质比特率降 15.5%(静态阶梯 17.6%)、同码率最多多 4 个 VMAF 点且云算力省 25%;AV1 同画质编码时间减 66%、吞吐 3 倍;并新增 MoQ 超低延迟直播输出与供 Claude/ChatGPT 只读查询编码任务的 MCP server。
推荐理由:商用编码器同时押注编解码效率与 MoQ 传输、AI 代理接入的标志性版本。
声网发布智能门锁/门铃场景方案,针对电池供电门锁给出量产指标:出图速度小于1秒、全球通话延迟小于400毫秒,SDK增量体积控制在400KB以内、运行时内存占用仅1.2MB。远程开锁走独立实时信令通道,全球端到端延迟低于100毫秒(99分位值),70%丢包下仍保证送达。
Chrome 153 加入摄像头与麦克风专用 HTML 元素(浏览器托管 UI,需显式点击授权),并通过 MSE 在 HTML 媒体元素中支持开放免版税空间音频格式 IAMF 的解码播放。
推荐理由:浏览器媒体采集与沉浸式音频格式的双重进展,直接影响 Web 音视频应用形态。
文章介绍多语会话式 AI 能力:检测客户语言并用同一语言实时应答,覆盖 40 余种语言的企业部署场景。
Zoom 发布开源 Web 远程医疗入门套件,基于 Zoom Video SDK 构建,覆盖医生与患者注册、预约、设备预览、视频问诊、聊天、屏幕共享、云录制、实时转写和 PDF 文件共享等核心流程。套件采用 Next.js 16、React 19 和 TypeScript,代码托管于 GitHub。官方声明该示例尚未按 HIPAA 合规设计或验证,未经独立安全与合规审查不得用于受保护健康信息。
LiveKit 推出非生产部署,让语音 Agent 以不同名称与生产环境并行运行,共用同一容器镜像、项目和密钥,创建只需一条命令。非生产部署空闲时休眠且不计费,但重新部署会立即中断活跃会话,且不支持回滚;需 livekit-agents 1.6 或 @livekit/agents 1.7.1 以上 SDK 才能接收呼叫。
LiveKit 发布 Connectors,把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间,无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC(ICE、DTLS-SRTP、Opus),Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布,仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用,计费与 SIP 相同,每分钟 0.004 美元(Ship)和 0.003 美元(Scale)。
推荐理由:LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间,读者可据此判断现有 SIP 方案是否要改。
Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用(GA),面向实时对话设计:模型接收完整对话音频,感知用户的语气、节奏与情绪状态,并支持用自然语言像提示 LLM 一样下达 voice direction;同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。
推荐理由:实时 TTS 从静态朗读转向双向对话的关键产品节点,100+ 语言音色一致性对全球化语音 Agent 影响直接。
Sonic-3.6 在 15 个语言环境的盲测对比中对 Sonic-3.5 最高获得 93% 听者偏好,发布距 3.5 仅两个月,并登顶 Artificial Analysis 排行榜受控与 provider 双榜第一。
推荐理由:TTS 头部产品高频迭代且数据扎实,反映语音生成竞争白热化。
Pipecat 团队发布 PhoneLLM Alpha 1,一个面向语音智能体场景的开源权重模型,基于 NVIDIA Nemotron 3 Nano 30B-A3B 全参数微调,采用 MoE 架构、3.5B 激活参数,以 BSD 许可发布且无商用限制。官方称其表现与 GPT 5.6 Terra 相当,但成本低 94%、P95 首 token 时间快 1,300ms,单请求 TTFT P95 在 B200 上低于 100ms。同时发布 PhoneBench v1 基准,用 LLM 评审团评估电话智能体的说话风格、工具调用准确性与每分钟运行成本;权重已上线 HuggingFace,官方建议将 temperature 设为 0 并关闭 thinking。
推荐理由:原文给出模型规格、延迟与成本测算方式,读者可据此判断自托管语音智能体是否划算。
Mux 在 Mux Data 仪表盘上线 Playing time by rendition,按播放器实际交付的码率版本统计观看时长,并已通过 API 提供。该指标按墙钟时间计算,暂停、重缓冲和拖动的时间不计入,播放速度不影响结果;仪表盘以堆叠柱状时间序列展示前 10 个版本及“其他”的占比,并支持按标题、国家、设备类别过滤和跨维度对比,还可自定义版本分组参数。
LiveKit 将 Agent 会话分钟与录制、WebRTC 连接和 SIP 连接改为按秒计费,最低按 10 秒计费,适用于所有套餐与账户(含企业合同),无需技术改动。该调整已对现有客户生效,8 月用量将体现在 9 月账单中。LiveKit 称按分钟计费会限制外呼等短时场景的扩展,按秒计费可消除这种定价错配。
LiveKit 为 Agent Observability 新增 PII 脱敏功能,在录音和转写文本存入前自动移除姓名、地址、生日等敏感信息,对使用该功能的客户不额外收费。脱敏用 LLM 按上下文识别,转写文本中的词替换为标记,轨迹和日志中的敏感字段直接丢弃;由于词级 ASR 时间戳并非在所有 STT 模型上都可靠,音频改为删除整个轮次并以提示音替代。目前支持 10 组共 41 类 PII,需使用 LiveKit Agents SDK Python 或 Node.js 1.7.0 版本,数据保留 30 天后自动删除。
推荐理由:LiveKit 用 LLM 按上下文做 PII 脱敏,并说明音频整轮删除的取舍,可据此判断合规方案是否够用。
NVIDIA 发布 Nemotron Voice Agent v2.1.0 更新,重点提升多语种声音能力与对话轮次判断,声网对其面向语音 Agent 场景的演进做了梳理。
推荐理由:NVIDIA 语音 Agent 栈的版本演进动态,反映芯片厂商在语音 AI 栈上的发力方向。
LiveKit 的 SFU 架构让机器人系统从点对点连接扩展为多参与者 Room,摄像头、模型、操作员和下游服务各作为一个参与者加入,无需重新设计传输架构。在跨网络的人机协同录制场景中,机器人观测可同时分发给策略、操作员和录制端,策略动作与人工干预各自独立回传,避免额外网络跳数。VLM 可作为任务级编排者,各技能策略以独立参与者订阅所需观测,奖励模型则按控制频率评估执行状态并驱动策略升级。
Tavus 推出 Deployments 功能,可将构建好的 PAL 发布到实际业务场景对外使用,由 CEO Hassaan Raza 宣布,补齐从创建到上线的环节。
推荐理由:Tavus PAL 产品链路的关键一环,从开发工具走向可交付应用。
LiveKit 宣布其 Inference 中所有 LLM、STT、TTS 模型默认启用零数据保留(ZDR),适用于所有套餐,无需开关或升级配置。ZDR 要求不保留、不记录日志、不训练、不聚合,LiveKit 通过合同、账户或工作区配置及逐请求参数强制第三方提供商遵守,不达标者不予接入。Agent 可观测性数据保留 30 天,Egress 录制存入用户自有云存储,语音克隆样本在最后使用 12 个月后删除。
LiveKit 在 LiveKit Agents 中发布 expressive mode,用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言,由框架统一转换,并会把多句合并成更大块再送入 TTS,以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型,前端可通过 lk.expression 属性获取情绪信号。
推荐理由:LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记,并给出开启方式与前端联动做法。
Deepgram 发布对话原生 TTS 模型 Flux TTS,主张把 VAD、barge-in、状态管理和对话历史回喂等编排职责收进模型本身:跨轮保持语气、节奏与发音,无需 SSML 或风格标签,原生处理打断并回报“用户实际听到的内容”,每句话有 Idle/Generating/Completing 生命周期事件,且支持说话中改语速与发音。技术上是三项选择——高保真神经编解码、文本与音频交错生成(官方称首音频延迟最低 80ms、长度无关地保持在 200ms 以内)、Mamba 状态空间骨干以固定大小记忆跨会话持有上下文。官方称其朗读词错误率中位 2.2%(约为 ElevenLabs 的一半、Cartesia 的三分之一),难例 3.4%,可云端、自托管或本地部署。
推荐理由:TTS 从“朗读”转向“面向对话状态”的代表性产品发布,直接影响语音 Agent 的打断与跨轮一致性。