YouTube Live 四项更新:横竖屏同播共享聊天、礼物扩展与互动高峰自动避广告
YouTube Live 更新四项能力:横屏直播也可收礼物并扩展至加拿大、韩国等更多市场,Super Chat/礼物触发个人无广告窗口,互动高峰自动暂停广告,并支持横竖屏同时开播且共用一个聊天室——官方披露 2025 年美国 30% 以上直播观看时长来自联网电视。
推荐理由:YouTube 直播形态与变现机制的重要调整,CTV 占比数据对行业有参考意义。
YouTube Live 更新四项能力:横屏直播也可收礼物并扩展至加拿大、韩国等更多市场,Super Chat/礼物触发个人无广告窗口,互动高峰自动暂停广告,并支持横竖屏同时开播且共用一个聊天室——官方披露 2025 年美国 30% 以上直播观看时长来自联网电视。
推荐理由:YouTube 直播形态与变现机制的重要调整,CTV 占比数据对行业有参考意义。
Seeduplex 基于"边听边说"框架,在豆包 App 全量上线,是全双工语音技术首次规模化落地。官方数据显示:复杂场景下误回复率与误打断率较半双工方案减少一半,AI 抢话比例相对下降 40%,判停延迟降低约 250ms、打断响应延迟缩短约 300ms,整体通话满意度绝对值提升 8.34%。
推荐理由:全双工对话的关键指标数据完整披露,是评估语音 Agent 自然度的行业参照。
针对家庭摄像头、割草机等天然弱网部署场景,声网以 SD-RTN 为骨架做四层对抗:秒级网络感知与动态路由、秒级降码率加渐进恢复、FEC+NACK 双保险(称音频可抗 80% 丢包、视频 40%)、以及首帧关键帧优化;对外指标包括 80% 丢包下音视频流畅、设备 5 秒连通率 99.5%、出海首次激活成功率 >99.9%,SD-RTN 全球延时中位数 <76ms。
推荐理由:厂商披露的极端弱网量化指标与全链路对抗逻辑,对 IPC/IoT 类产品选型有直接参考。
LiveKit 开源 livekit-wakeword,支持一条命令从零训练自定义唤醒词模型,官方称误报较 openWakeWord 低 100 倍,并提供 ONNX 与 Home Assistant 兼容。
推荐理由:端侧唤醒词开源工具的实用更新,对语音 Agent 前端链路有价值。
data tracks 把任意二进制帧接入 LiveKit 的 track 基础设施,面向遥操作、传感器与遥测场景:SFU 按订阅选择性转发,走无序丢失容忍的 WebRTC data channel,采用 12 字节自定义 RTP 风格包头以吃满 MTU,房间内并发轨道理论上限 65,535;已支持 JS、Rust、Python、C++、Unity SDK。
推荐理由:把 RTC 的选择性转发能力扩展到非音视频数据,对机器人与遥操作类实时应用是实用的能力更新。
声网把首帧定义为“视频第一帧在本地渲染显示”的结果指标,从关键帧触发、建链协商、路径选择、终端渲染四处下手:建议引擎提前创建初始化、enableVideo 前设好编码配置,参考最佳实践后 Windows/macOS Chrome 首帧最低可降到 300ms 以内;方案整体给出 99.9% 连通成功率、SD-RTN 覆盖 200+ 国家、全球延时中位数 <76ms、80% 丢包下仍流畅。
推荐理由:有明确数字的首帧优化案例,且强调弱网与跨国条件下的首帧成立概率。
Gemini 3.1 Flash Live 通过 Gemini Live API 在 Google AI Studio 开放预览,官方宣称较 2.5 Flash Native Audio 在延迟、可靠性与自然度上有台阶式提升:嘈杂环境下工具触发更稳、复杂系统指令遵循更强、可识别音高语速等声学细节,实时多模态对话支持 90+ 语言。
推荐理由:Gemini 实时语音模型代际更新,是语音 Agent 平台侧最重要的供给变化之一。
WebKit 在 Safari 26.4 加入 WebTransport,面向低延迟场景(多人游戏、实时协作、视频会议);macOS 上 getUserMedia 可同时采集多路麦克风并动态把已有采集迁移到合适处理单元、同时管理回声消除,便于做播客工具与多路录音;此外增强字幕外观自定义(字号、颜色、背景等)。
推荐理由:WebTransport 落地与多麦克风采集是实时音视频在 Safari 上的能力补齐。
Chrome 引入浏览器发起的自动画中画:对未注册媒体会话操作处理程序的网站,切标签页时也可自动弹出视频 PiP;触发条件严格限定,包括媒体两秒内有声、未使用摄像头/麦克风、用户媒体互动指数超阈值等。
推荐理由:浏览器播放器行为的重要变化,视频/音乐类 Web 应用需关注触发条件与隐私设定。
TADA(Text-Acoustic Dual Alignment)为每个文本 token 对齐一条连续声学向量,每秒音频仅需 2–3 帧而非传统方案的 12.5–75 帧,RTF 达 0.09(快于同级 LLM-TTS 5 倍以上);在 LibriTTS-R 1000+ 样本上以 CER>0.15 为门槛测得零幻觉,2048 token 上下文可容纳约 700 秒音频(传统方案约 70 秒),轻量到可端侧部署,代码与预训练模型已开放。
推荐理由:从架构层面消解 LLM-TTS 的跳词幻觉问题并显著提速,开源后可直接进入语音 Agent 技术栈。
Tavus 发布 Raven-1 多模态感知系统,将音频、视觉与时间动态统一处理并实时对齐,通过语调、表情、迟疑和语境判断用户真实意图,而非仅依赖文字转写。此前其 Raven-0 已让 AI 具备解读视觉语境的能力。该系统针对传统对话 AI 将语音转为文本后丢失语调、节奏、非语言声音和情绪变化等信息的问题,主张情绪是连续且分层的,无法归入固定类别。
OpenMOSS 的对话式 TTS 项目 MOSS-TTSD 打上 v0.7 标签,release 说明仅注明这是 v1.0 迁移前的存档版本(Archive v0.7 before v1.0 migration),未列出具体功能变更或指标。
Janus 官方基于 multistream 的 master 分支首次打出 1.4.0 版本,旧 0.x 分支同步发布 0.16.0;此后 master 进入 1.4.1、0.x 进入 0.16.1 维护,双轨版本策略正式成型。
推荐理由:Janus multistream 迁移的关键节点版本,影响所有 Janus 部署的升级路线。
YouTube 宣布自动配音面向所有创作者开放并扩展至 27 种语言:2025 年 12 月日均超 600 万观众观看 10 分钟以上自动配音内容;Expressive Speech 在英法德等 8 种语言上线以保留情绪表达,同时新增观众偏好语言设置与音乐/静音视频智能过滤,唇形同步处于试点阶段。
推荐理由:全球最大视频平台的 AI 配音规模化数据与功能边界,是配音行业与 AI 增强的风向标。
GStreamer 1.28.0 于 2026 年 1 月 27 日发布,亮点包括 AMD HIP 插件与集成库、Vulkan Video 的 AV1/VP9 解码与 H.264 编码、waylandsink HDR10 元数据、基于 demucs 的 Rust 音频源分离元素、LiteRT 推理元素,以及 hlscmafsink 等 CMAF 单变体 HLS 输出元素。
推荐理由:多媒体框架大版本更新,硬件编解码与 CMAF/HLS 输出能力直接影响转码与分发链路实现。
MiniMax 推出 Speech 2.8 系列(HD/Turbo 双档),可在文本中直接写入 (laughs)、(sighs) 等副语言标签并原位生成,支持约 10 秒参考音频快速复刻音色,重制音频管线以降低底噪与合成失真,覆盖 40+ 语言;已作为底层引擎服务多家语音 Agent 平台。
推荐理由:中文语音合成头部供给的代际更新,副语言标签与低门槛复刻直接影响 Agent 音色表现。
Vidstack 作者回顾从 Vime 到 Vidstack 的 6 年:累计 90 亿次 CDN 请求、700 万次 NPM 下载、6200 个 GitHub Star 与 200 多个版本。核心结论是浏览器媒体元素的事件与状态不一致(事件可能不触发或连续触发),因此 Video.js v10 放弃插件式架构,改为编译期组件与可预测的状态流。
推荐理由:主流开源播放器 v10 重构的一手复盘,指向浏览器媒体事件模型的固有坑。
从协议本质对比两种方案:RTMP 基于 TCP,网络抖动时反复重传导致数秒至十几秒延迟;声网基于 UDP 私有协议加全球 200 多个节点调度,平均延迟 200-800ms、抗丢包率称可达 70%-80%;文中给出维度对比表(延迟、抗丢包、连麦体验、全球覆盖、成本)与大型发布会、电商带货、出海三类场景的选型建议。
WebKit 在 Safari 26.2 提供 RTCRtpHeaderExtensionParameters 接口用于描述媒体流使用的 RTP 头部扩展,使音频电平、视频方向、时序与应用自定义数据等元数据可与已加密的媒体负载分开控制,让开发者更细粒度地决定哪些元数据对网络中间设备可见;同版本还修复了 HDR 图像在 CSS 背景、边框与 SVG 中的解码渲染,以及 WebRTC 摄像头指示灯不熄灭等问题。
推荐理由:RTP 头部扩展接口关系 WebRTC 元数据与端到端加密边界,属标准化进展。
火山引擎 2025 年 12 月 5 日发布豆包语音识别模型 2.0(Doubao-Seed-ASR-2.0):基于 PPO 强化学习做上下文推理识别,上下文关键词召回率提升 20%,支持单图/多图视觉输入辅助识别,并支持日语、韩语、德语、法语等 13 种海外语种。
推荐理由:ASR 2.0 引入视觉多模态辅助语音识别,是"听得懂"到"看得懂"的代际更新。
Cartesia 发布语音智能体开发平台 Line,面向开发者提供代码优先的构建方式,可从文本提示或模板在数分钟内创建首个智能体,并通过 CLI 和 GitHub 集成在本地开发、一条命令部署。Line 会记录已部署智能体的全部通话,保存音频与转写文本,报告延迟等系统指标并提供日志,支持自定义 LLM-as-a-judge 指标评估通话。Line 与 Cartesia 的 Sonic 文本转语音和 Ink 流式语音转文本模型一同部署,企业版可完全本地部署并对模型微调。
推荐理由:Cartesia 把语音智能体的开发、评测与部署整合进一个代码优先平台,并说明与 Sonic、Ink 模型的协同方式。
Cartesia 推出流式语音转文字(STT)模型系列 Ink,首发模型 Ink-Whisper 基于 OpenAI 的 Whisper 改造,面向实时语音应用。官方称其采用动态分块处理变长音频片段,在电话音质、专有名词、背景噪声、口语停顿和口音等数据集上,词错误率优于 whisper-large-v3-turbo 基线;在停止说话后完成转写的时间(TTCT)中位数为 66ms、P90 为 98ms,并称其为所测试流式 STT 模型中最快。定价为每秒 1 credit,Scale 套餐下约 $0.13/hr,可集成 Vapi、Pipecat 和 LiveKit。
推荐理由:Cartesia 发布流式语音转文字模型 Ink-Whisper,给出与 Whisper 基线和多家流式模型的 WER、TTCT 对比数据,可据此判断实时语音场景的选型。
Cartesia 为规模化语音 AI 开发者推出 Organizations 与 Dashboards 两项功能。Organizations 让团队共享 API 密钥、自定义音色与集中计费,席位不限,已在 Startup+ 套餐开放;Dashboards 面向所有成员提供额度、并发与 WebSocket 连接的实时可见性,其中并发和连接监控自 5 月 20 日起可用。
Cartesia 推出基于 Sonic 文本转语音模型微调的专业语音克隆(PVC),可复刻音色、语调、风格与环境,现已登陆 Startup 及以上套餐并支持自助开通。训练免费,生成按每字符 1 credit 计费,与即时语音克隆相同;支持 15 种语言,可通过 Playground UI 和 API 使用。
Cartesia 发布 Python SDK v2.0.0,围绕统一的 Cartesia 客户端重构,支持异步调用、流式响应和 WebSocket 实时低延迟语音应用。SDK 内置 4xx/5xx 异常处理、指数退避自动重试,默认超时 60 秒,并允许覆盖 httpx 客户端以支持代理等场景。
Cartesia 推出 Voice Changer,可将任意音频片段转换为目标音色,同时保留原声的表达方式、情感与韵律。用户可从录音棚级音色库中选择,或克隆自己的声音,并精确控制情感与节奏;该模型基于 S4、Mamba 等状态空间模型架构,已在 Cartesia playground 上线。
Cartesia 宣布 Sonic Multilingual 新增印地语、意大利语、韩语、荷兰语、波兰语、俄语、瑞典语和土耳其语 8 种语言 Alpha 版,总支持语言数达 15 种。新语言沿用 Sonic 的低延迟、对话质量和语音设计能力,基于其自研的 S4 与 Mamba 状态空间模型(SSM)架构实现实时语音生成。
Cartesia 发布端侧智能更新,推出开源(Apache 2.0)SSM 库 Edge、1.3B 参数开源语言模型 Rene,以及进入内测的 Sonic On-Device。Edge 面向 Apple M 系列芯片提供 Mamba-2 的 Metal 内核,并配套 Python 包 cartesia-mlx;Rene 采用 Mamba-2 与 MLP 交替、穿插滑动窗口注意力的混合结构,在 1.5T tokens 的 Dolma-1.7 上训练,推理时内存占用固定,支持 8-bit 和 4-bit 量化。Sonic On-Device 支持端侧低延迟实时流式生成语音,具备即时克隆与可控发音、语速和情感。
推荐理由:Cartesia 把 SSM 架构落到端侧,同时开源模型与推理库,可据此判断端侧语音与语言模型的可行路径。
Cartesia 发布低延迟语音模型 Sonic,用于生成逼真语音,模型延迟为 135ms,官方称这是同类模型中最快的。Sonic 配套网页 playground 和低延迟 API,playground 提供面向客服、娱乐和内容创作的语音库,支持即时克隆和语音设计(语速、情感),这些能力均可通过 API 使用。Cartesia 表示其基于状态空间模型架构,并自建推理栈以降低延迟和成本,后续将发布关于新架构的更多细节。
推荐理由:官方给出 Sonic 的 135ms 模型延迟与自研状态空间模型推理栈,可据此判断低延迟语音合成的当前水平。