内容形态
音视频产品、服务与工具的功能上新、改版与商业化动态——谁家的能力变强了、变贵了、能用了。
80 条精选近 30 天 22 条共收录 131 条
Ant Media Server 以插件形式支持 MoQ：直播流自动经 MoQMuxer 发布到内置 moq-lite relay，浏览器经 WebTransport + WebCodecs/MSE 亚秒级播放，也可从外部 relay（含 Cloudflare MoQ）拉流入 AMS 做录制、转码与再分发；支持 H.264/H.265 与 AAC/Opus，Safari 播放需 macOS/iOS 26.4+。
推荐理由：传统流媒体服务器接入 MoQ 生态的代表案例，提供 moq-lite 与 IETF 全量规范差异的工程视角。
Cloudflare 在 Agents SDK 中加入实验性语音管线，通过 WebSocket 实现实时语音交互，开发者可用连续 STT 与 TTS 快速为 Agent 增加语音能力。
推荐理由：Cloudflare 正式切入语音 Agent 赛道，边缘平台与语音栈结合的代表动作。
LiveKit 推出 Agent Console 实时调试界面，可在一个面板中查看语音 Agent 的时延、工具调用、SIP 参与者、打断、RPC 与转写文本等状态。
推荐理由：语音 Agent 可观测性工具的迭代，开发调试体验的重要补充。
YouTube Live 更新四项能力：横屏直播也可收礼物并扩展至加拿大、韩国等更多市场，Super Chat/礼物触发个人无广告窗口，互动高峰自动暂停广告，并支持横竖屏同时开播且共用一个聊天室——官方披露 2025 年美国 30% 以上直播观看时长来自联网电视。
推荐理由：YouTube 直播形态与变现机制的重要调整，CTV 占比数据对行业有参考意义。
Seeduplex 基于"边听边说"框架，在豆包 App 全量上线，是全双工语音技术首次规模化落地。官方数据显示：复杂场景下误回复率与误打断率较半双工方案减少一半，AI 抢话比例相对下降 40%，判停延迟降低约 250ms、打断响应延迟缩短约 300ms，整体通话满意度绝对值提升 8.34%。
推荐理由：全双工对话的关键指标数据完整披露，是评估语音 Agent 自然度的行业参照。
data tracks 把任意二进制帧接入 LiveKit 的 track 基础设施，面向遥操作、传感器与遥测场景：SFU 按订阅选择性转发，走无序丢失容忍的 WebRTC data channel，采用 12 字节自定义 RTP 风格包头以吃满 MTU，房间内并发轨道理论上限 65,535；已支持 JS、Rust、Python、C++、Unity SDK。
推荐理由：把 RTC 的选择性转发能力扩展到非音视频数据，对机器人与遥操作类实时应用是实用的能力更新。
Gemini 3.1 Flash Live 通过 Gemini Live API 在 Google AI Studio 开放预览，官方宣称较 2.5 Flash Native Audio 在延迟、可靠性与自然度上有台阶式提升：嘈杂环境下工具触发更稳、复杂系统指令遵循更强、可识别音高语速等声学细节，实时多模态对话支持 90+ 语言。
推荐理由：Gemini 实时语音模型代际更新，是语音 Agent 平台侧最重要的供给变化之一。
WebKit 在 Safari 26.4 加入 WebTransport，面向低延迟场景（多人游戏、实时协作、视频会议）；macOS 上 getUserMedia 可同时采集多路麦克风并动态把已有采集迁移到合适处理单元、同时管理回声消除，便于做播客工具与多路录音；此外增强字幕外观自定义（字号、颜色、背景等）。
推荐理由：WebTransport 落地与多麦克风采集是实时音视频在 Safari 上的能力补齐。
Chrome 引入浏览器发起的自动画中画：对未注册媒体会话操作处理程序的网站，切标签页时也可自动弹出视频 PiP；触发条件严格限定，包括媒体两秒内有声、未使用摄像头/麦克风、用户媒体互动指数超阈值等。
推荐理由：浏览器播放器行为的重要变化，视频/音乐类 Web 应用需关注触发条件与隐私设定。
FFmpeg 8.1 于 3 月 16 日发布，新增 ProRes Vulkan 编码与解码、DPX Vulkan 解码、D3D12 H.264/AV1 编码器、经 libsvtjpegxs 的 JPEG-XS 编解码、IAMF 环绕声混流及实验性 xHE-AAC MPS212 解码；Vulkan 计算编解码器不再依赖运行时 GLSL 编译，swscale 重写的基础工作继续推进。
推荐理由：多媒体基础设施的年度重要版本，Vulkan 与 D3D12 硬件加速扩展对转码管线选型有直接影响。
FFmpeg 8.1 "Hoare" 小版本发布，新增 xHE-AAC Mps212（实验性）、经 libmpeghdec 的 MPEG-H 解码、EXIF 元数据解析和 LCEVC 元数据解析转发，并加入基于 Vulkan 计算的 ProRes 编解码与 DPX 解码、D3D12 H.264/AV1 编码及 scale_d3d12 等滤镜、Rockchip H.264/HEVC 硬件编码。该版本还包含大量内部改动与缺陷修复，Vulkan 计算编解码器和部分滤镜不再依赖运行时 GLSL 编译，swscale 重写的前期工作正在推进。
推荐理由：FFmpeg 8.1 汇总了解码器、Vulkan 与 D3D12 硬件编解码及新滤镜等变化，可据此判断升级与硬件加速路径。
Apple 发布 M5 Pro 与 M5 Max 芯片（新 MacBook Pro 3 月 4 日预订），媒体处理引擎支持 H.264/HEVC 硬件加速、AV1 硬件解码以及 ProRes 编解码引擎，并首次在所有 M5 系列产品线铺开；配合新一代 GPU（每核内置神经网络加速器）与更高统一内存带宽（M5 Max 达 614GB/s），面向 8K 视频剪辑与 AI 工作流。
推荐理由：苹果芯片全面铺开 AV1 硬件解码，是端侧编解码硬件格局的实质性变化，影响流媒体平台编码策略。
YouTube 宣布自动配音面向所有创作者开放并扩展至 27 种语言：2025 年 12 月日均超 600 万观众观看 10 分钟以上自动配音内容；Expressive Speech 在英法德等 8 种语言上线以保留情绪表达，同时新增观众偏好语言设置与音乐/静音视频智能过滤，唇形同步处于试点阶段。
推荐理由：全球最大视频平台的 AI 配音规模化数据与功能边界，是配音行业与 AI 增强的风向标。
MiniMax 推出 Speech 2.8 系列（HD/Turbo 双档），可在文本中直接写入 (laughs)、(sighs) 等副语言标签并原位生成，支持约 10 秒参考音频快速复刻音色，重制音频管线以降低底噪与合成失真，覆盖 40+ 语言；已作为底层引擎服务多家语音 Agent 平台。
推荐理由：中文语音合成头部供给的代际更新，副语言标签与低门槛复刻直接影响 Agent 音色表现。
WebKit 在 Safari 26.2 提供 RTCRtpHeaderExtensionParameters 接口用于描述媒体流使用的 RTP 头部扩展，使音频电平、视频方向、时序与应用自定义数据等元数据可与已加密的媒体负载分开控制，让开发者更细粒度地决定哪些元数据对网络中间设备可见；同版本还修复了 HDR 图像在 CSS 背景、边框与 SVG 中的解码渲染，以及 WebRTC 摄像头指示灯不熄灭等问题。
推荐理由：RTP 头部扩展接口关系 WebRTC 元数据与端到端加密边界，属标准化进展。
火山引擎 2025 年 12 月 5 日发布豆包语音识别模型 2.0（Doubao-Seed-ASR-2.0）：基于 PPO 强化学习做上下文推理识别，上下文关键词召回率提升 20%，支持单图/多图视觉输入辅助识别，并支持日语、韩语、德语、法语等 13 种海外语种。
推荐理由：ASR 2.0 引入视觉多模态辅助语音识别，是"听得懂"到"看得懂"的代际更新。
Cartesia 发布语音智能体开发平台 Line，面向开发者提供代码优先的构建方式，可从文本提示或模板在数分钟内创建首个智能体，并通过 CLI 和 GitHub 集成在本地开发、一条命令部署。Line 会记录已部署智能体的全部通话，保存音频与转写文本，报告延迟等系统指标并提供日志，支持自定义 LLM-as-a-judge 指标评估通话。Line 与 Cartesia 的 Sonic 文本转语音和 Ink 流式语音转文本模型一同部署，企业版可完全本地部署并对模型微调。
推荐理由：Cartesia 把语音智能体的开发、评测与部署整合进一个代码优先平台，并说明与 Sonic、Ink 模型的协同方式。
Cartesia 推出流式语音转文字（STT）模型系列 Ink，首发模型 Ink-Whisper 基于 OpenAI 的 Whisper 改造，面向实时语音应用。官方称其采用动态分块处理变长音频片段，在电话音质、专有名词、背景噪声、口语停顿和口音等数据集上，词错误率优于 whisper-large-v3-turbo 基线；在停止说话后完成转写的时间（TTCT）中位数为 66ms、P90 为 98ms，并称其为所测试流式 STT 模型中最快。定价为每秒 1 credit，Scale 套餐下约 $0.13/hr，可集成 Vapi、Pipecat 和 LiveKit。
推荐理由：Cartesia 发布流式语音转文字模型 Ink-Whisper，给出与 Whisper 基线和多家流式模型的 WER、TTCT 对比数据，可据此判断实时语音场景的选型。
Cartesia 发布端侧智能更新，推出开源（Apache 2.0）SSM 库 Edge、1.3B 参数开源语言模型 Rene，以及进入内测的 Sonic On-Device。Edge 面向 Apple M 系列芯片提供 Mamba-2 的 Metal 内核，并配套 Python 包 cartesia-mlx；Rene 采用 Mamba-2 与 MLP 交替、穿插滑动窗口注意力的混合结构，在 1.5T tokens 的 Dolma-1.7 上训练，推理时内存占用固定，支持 8-bit 和 4-bit 量化。Sonic On-Device 支持端侧低延迟实时流式生成语音，具备即时克隆与可控发音、语速和情感。
推荐理由：Cartesia 把 SSM 架构落到端侧，同时开源模型与推理库，可据此判断端侧语音与语言模型的可行路径。
Cartesia 发布低延迟语音模型 Sonic，用于生成逼真语音，模型延迟为 135ms，官方称这是同类模型中最快的。Sonic 配套网页 playground 和低延迟 API，playground 提供面向客服、娱乐和内容创作的语音库，支持即时克隆和语音设计（语速、情感），这些能力均可通过 API 使用。Cartesia 表示其基于状态空间模型架构，并自建推理栈以降低延迟和成本，后续将发布关于新架构的更多细节。
推荐理由：官方给出 Sonic 的 135ms 模型延迟与自研状态空间模型推理栈，可据此判断低延迟语音合成的当前水平。