内容形态
音视频产品、服务与工具的功能上新、改版与商业化动态——谁家的能力变强了、变贵了、能用了。
80 条精选近 30 天 22 条共收录 131 条
Google 在 Gemini API 与 AI Studio 上线 Gemini 3.8 Live、3.8 Live Extended Thinking 与 3.5 Transcribe：3.8 Live 为原生语音到语音模型，支持异步函数调用（后台执行工具调用同时继续流式输出音频）、视觉上下文与 97+ 语言；3.8 Live Extended Thinking 在 Artificial Analysis 的 Speech-to-Speech 榜单排名第一；3.5 Transcribe 覆盖 85+ 语言，官方给出平均 WER 4.0%（流式）与 2.6%（非流式）。
推荐理由：实时语音链路上游模型的关键更新，直接影响语音 Agent 与实时转写方案的选型。
Bitmovin 编码器 2.285.0（2026-09-15 发布）改进 AV1 Three-Pass 算法，针对 4K 及更低分辨率内容调优至约 10% BD-rate 节省，并为 AV1 Per-Title 目标 CRF 引入自适应逻辑：根据分辨率、帧率与 HDR 格式（HDR10/HLG 各降 2、Dolby Vision 降 4）自动推导起点 CRF，最低可至 26。同版本还改进直播重连稳定性并新增心跳 webhook。
推荐理由：商业云编码器在 AV1 三遍编码上的量化收益数据，可作为 AV1 转码成本评估的对照基准。
Pipecat 发布 v1.10.0，openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端，TLS 证书改为校验操作系统信任库，精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT（/v2/agent），无法再连接旧实时端点，默认 turn_detection_mode 变为 VAD，默认模型为 linden-1，并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection，DeepSeekLLMService 默认关闭 thinking，LmntTTSService 因 LMNT 关停被移除。
推荐理由：版本说明列出了多项破坏性变更与迁移方式，可据此判断现有语音管线是否需要调整依赖或参数。
TRTC SDK 13.5（2026 年 9 月 10 日发布）优化低信噪比下 AI 降噪与近端信号可懂度、修复 KTV 场景 AIEC 首尾字抑制问题，并适配鸿蒙折叠屏前置摄像头切换等；页面同时保留 13.0 以来 AI 实时转录与翻译、音频水印等版本记录。
推荐理由：TRTC 近一年的版本演进轨迹（AI 转录、音频水印、鸿蒙适配）集中体现在发布日志中。
Bitmovin Encoder Version 3 在 IBC 2026 开放 beta：新 HEVC 编解码器在 per-title 编码下同画质比特率降 15.5%（静态阶梯 17.6%）、同码率最多多 4 个 VMAF 点且云算力省 25%；AV1 同画质编码时间减 66%、吞吐 3 倍；并新增 MoQ 超低延迟直播输出与供 Claude/ChatGPT 只读查询编码任务的 MCP server。
推荐理由：商用编码器同时押注编解码效率与 MoQ 传输、AI 代理接入的标志性版本。
Chrome 153 加入摄像头与麦克风专用 HTML 元素（浏览器托管 UI，需显式点击授权），并通过 MSE 在 HTML 媒体元素中支持开放免版税空间音频格式 IAMF 的解码播放。
推荐理由：浏览器媒体采集与沉浸式音频格式的双重进展，直接影响 Web 音视频应用形态。
LiveKit 发布 Connectors，把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间，无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC（ICE、DTLS-SRTP、Opus），Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布，仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用，计费与 SIP 相同，每分钟 0.004 美元（Ship）和 0.003 美元（Scale）。
推荐理由：LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间，读者可据此判断现有 SIP 方案是否要改。
Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用（GA），面向实时对话设计：模型接收完整对话音频，感知用户的语气、节奏与情绪状态，并支持用自然语言像提示 LLM 一样下达 voice direction；同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。
推荐理由：实时 TTS 从静态朗读转向双向对话的关键产品节点，100+ 语言音色一致性对全球化语音 Agent 影响直接。
Sonic-3.6 在 15 个语言环境的盲测对比中对 Sonic-3.5 最高获得 93% 听者偏好，发布距 3.5 仅两个月，并登顶 Artificial Analysis 排行榜受控与 provider 双榜第一。
推荐理由：TTS 头部产品高频迭代且数据扎实，反映语音生成竞争白热化。
Pipecat 团队发布 PhoneLLM Alpha 1，一个面向语音智能体场景的开源权重模型，基于 NVIDIA Nemotron 3 Nano 30B-A3B 全参数微调，采用 MoE 架构、3.5B 激活参数，以 BSD 许可发布且无商用限制。官方称其表现与 GPT 5.6 Terra 相当，但成本低 94%、P95 首 token 时间快 1,300ms，单请求 TTFT P95 在 B200 上低于 100ms。同时发布 PhoneBench v1 基准，用 LLM 评审团评估电话智能体的说话风格、工具调用准确性与每分钟运行成本；权重已上线 HuggingFace，官方建议将 temperature 设为 0 并关闭 thinking。
推荐理由：原文给出模型规格、延迟与成本测算方式，读者可据此判断自托管语音智能体是否划算。
LiveKit 为 Agent Observability 新增 PII 脱敏功能，在录音和转写文本存入前自动移除姓名、地址、生日等敏感信息，对使用该功能的客户不额外收费。脱敏用 LLM 按上下文识别，转写文本中的词替换为标记，轨迹和日志中的敏感字段直接丢弃；由于词级 ASR 时间戳并非在所有 STT 模型上都可靠，音频改为删除整个轮次并以提示音替代。目前支持 10 组共 41 类 PII，需使用 LiveKit Agents SDK Python 或 Node.js 1.7.0 版本，数据保留 30 天后自动删除。
推荐理由：LiveKit 用 LLM 按上下文做 PII 脱敏，并说明音频整轮删除的取舍，可据此判断合规方案是否够用。
NVIDIA 发布 Nemotron Voice Agent v2.1.0 更新，重点提升多语种声音能力与对话轮次判断，声网对其面向语音 Agent 场景的演进做了梳理。
推荐理由：NVIDIA 语音 Agent 栈的版本演进动态，反映芯片厂商在语音 AI 栈上的发力方向。
Tavus 推出 Deployments 功能，可将构建好的 PAL 发布到实际业务场景对外使用，由 CEO Hassaan Raza 宣布，补齐从创建到上线的环节。
推荐理由：Tavus PAL 产品链路的关键一环，从开发工具走向可交付应用。
LiveKit 在 LiveKit Agents 中发布 expressive mode，用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言，由框架统一转换，并会把多句合并成更大块再送入 TTS，以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型，前端可通过 lk.expression 属性获取情绪信号。
推荐理由：LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记，并给出开启方式与前端联动做法。
Deepgram 发布对话原生 TTS 模型 Flux TTS，主张把 VAD、barge-in、状态管理和对话历史回喂等编排职责收进模型本身：跨轮保持语气、节奏与发音，无需 SSML 或风格标签，原生处理打断并回报“用户实际听到的内容”，每句话有 Idle/Generating/Completing 生命周期事件，且支持说话中改语速与发音。技术上是三项选择——高保真神经编解码、文本与音频交错生成（官方称首音频延迟最低 80ms、长度无关地保持在 200ms 以内）、Mamba 状态空间骨干以固定大小记忆跨会话持有上下文。官方称其朗读词错误率中位 2.2%（约为 ElevenLabs 的一半、Cartesia 的三分之一），难例 3.4%，可云端、自托管或本地部署。
推荐理由：TTS 从“朗读”转向“面向对话状态”的代表性产品发布，直接影响语音 Agent 的打断与跨轮一致性。
Cartesia 为流式 STT 模型 Ink-2 发布两项功能：keyterm prompting 支持最多 100 个关键词（共 1200 字符）无额外延迟地提升品牌名、药名等实体转写，可配置 turn detection 则允许在端点检测的速度与准确率间调优，并给出 Earnings22 关键词召回数据。
推荐理由：面向语音 Agent 实战的 STT 能力增强，关键词提示是行业普遍痛点。
SeedRealtime 以统一端到端架构原生融合音频、视频与文本，在连续多模态流上同步完成感知、理解与表达，支持结合画面消解同音歧义、时序指代理解，并能在察觉画面变化时主动提醒和调用工具。官方端到端人工评测显示，相比级联模型其音视频对话节奏问题减少一半，已在豆包 App 视频通话全量上线。
推荐理由：业界率先把音视频全双工技术规模化落地的模型发布，代表语音 Agent 从语音向全模态演进。
NVIDIA 发布 Video Codec SDK 13.1，为 AV1 编码新增分层参考模式（Hierarchical Reference Mode），将 NVENC 最大 B 帧数从 7 提升至 31（支持 1/3/7/15/31 配置），官方数据显示 15 B 帧在 CQ 与 VBR 模式下均带来码率节省且几乎无性能损耗；NVDEC 暴露 H.264/HEVC 逐宏块的 QP、编码单元类型与运动向量统计，支持 GOP 感知的帧级精准 Seek，并通过应用侧分配 CUarray 实现 NVDEC 与 NVENC 间零拷贝转码，另提供官方 Docker 开发环境。
推荐理由：GPU 硬件编解码的主流方案年度更新，AV1 分层 B 帧与零拷贝转码直接影响云端转码密度与画质。
在去年把 330+ 城市全部变为 MoQ relay（每日仍有 1000+ 客户端测试）之后，Cloudflare 新增隔离与访问控制：一次 API 调用即可创建独立 relay 并签发 publish/subscribe 分级 token，无需选区域、估容量、配负载均衡；同时支持 MoQ Transport draft-14 与 draft-16，draft-16 的 PUBLISH 让 relay 在首个观众到来前就开始收流，SUBSCRIBE_NAMESPACE 支持按命名空间批量订阅；beta 期免费。
推荐理由：MoQ 从开放预览走向可生产使用的关键一步，发布/订阅权限模型对直播与竞拍等场景是刚需。
Tavus 推出 PAL Maker，用户可创建具备看、听、记忆能力的 PAL（人格化应用层）并投入实际使用，由 CEO Hassaan Raza 宣布。
推荐理由：Tavus 产品线的关键发布，标志其从 CVI API 向终端应用层扩展。