跳到正文
8月13日周四
  1. LiveKit Blog62

    LiveKit Agents 推出 expressive mode,让语音智能体按对话情绪调整语气

    LiveKit 在 LiveKit Agents 中发布 expressive mode,用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言,由框架统一转换,并会把多句合并成更大块再送入 TTS,以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型,前端可通过 lk.expression 属性获取情绪信号。

    推荐理由:LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记,并给出开启方式与前端联动做法。

8月12日周三
  1. 海外技术动态66

    Deepgram 发布 Flux TTS:面向实时语音 Agent 的“对话原生”文本转语音模型

    Deepgram 发布对话原生 TTS 模型 Flux TTS,主张把 VAD、barge-in、状态管理和对话历史回喂等编排职责收进模型本身:跨轮保持语气、节奏与发音,无需 SSML 或风格标签,原生处理打断并回报“用户实际听到的内容”,每句话有 Idle/Generating/Completing 生命周期事件,且支持说话中改语速与发音。技术上是三项选择——高保真神经编解码、文本与音频交错生成(官方称首音频延迟最低 80ms、长度无关地保持在 200ms 以内)、Mamba 状态空间骨干以固定大小记忆跨会话持有上下文。官方称其朗读词错误率中位 2.2%(约为 ElevenLabs 的一半、Cartesia 的三分之一),难例 3.4%,可云端、自托管或本地部署。

    推荐理由:TTS 从“朗读”转向“面向对话状态”的代表性产品发布,直接影响语音 Agent 的打断与跨轮一致性。

8月11日周二
  1. Cartesia Blog58

    Ink-2 新增关键词提示与可配置轮次检测:专有名词转写更准

    Cartesia 为流式 STT 模型 Ink-2 发布两项功能:keyterm prompting 支持最多 100 个关键词(共 1200 字符)无额外延迟地提升品牌名、药名等实体转写,可配置 turn detection 则允许在端点检测的速度与准确率间调优,并给出 Earnings22 关键词召回数据。

    推荐理由:面向语音 Agent 实战的 STT 能力增强,关键词提示是行业普遍痛点。

8月5日周三
  1. 海外技术动态80

    字节 SeedRealtime 音视频全双工大模型发布,豆包全量上线

    SeedRealtime 以统一端到端架构原生融合音频、视频与文本,在连续多模态流上同步完成感知、理解与表达,支持结合画面消解同音歧义、时序指代理解,并能在察觉画面变化时主动提醒和调用工具。官方端到端人工评测显示,相比级联模型其音视频对话节奏问题减少一半,已在豆包 App 视频通话全量上线。

    推荐理由:业界率先把音视频全双工技术规模化落地的模型发布,代表语音 Agent 从语音向全模态演进。

7月31日周五
  1. 海外技术动态68

    NVIDIA Video Codec SDK 13.1:NVENC 支持 AV1 最多 31 个 B 帧与零拷贝转码

    NVIDIA 发布 Video Codec SDK 13.1,为 AV1 编码新增分层参考模式(Hierarchical Reference Mode),将 NVENC 最大 B 帧数从 7 提升至 31(支持 1/3/7/15/31 配置),官方数据显示 15 B 帧在 CQ 与 VBR 模式下均带来码率节省且几乎无性能损耗;NVDEC 暴露 H.264/HEVC 逐宏块的 QP、编码单元类型与运动向量统计,支持 GOP 感知的帧级精准 Seek,并通过应用侧分配 CUarray 实现 NVDEC 与 NVENC 间零拷贝转码,另提供官方 Docker 开发环境。

    推荐理由:GPU 硬件编解码的主流方案年度更新,AV1 分层 B 帧与零拷贝转码直接影响云端转码密度与画质。

  2. 海外技术动态72

    Cloudflare 推出 MoQ relay API:隔离中转与分级凭证

    在去年把 330+ 城市全部变为 MoQ relay(每日仍有 1000+ 客户端测试)之后,Cloudflare 新增隔离与访问控制:一次 API 调用即可创建独立 relay 并签发 publish/subscribe 分级 token,无需选区域、估容量、配负载均衡;同时支持 MoQ Transport draft-14 与 draft-16,draft-16 的 PUBLISH 让 relay 在首个观众到来前就开始收流,SUBSCRIBE_NAMESPACE 支持按命名空间批量订阅;beta 期免费。

    推荐理由:MoQ 从开放预览走向可生产使用的关键一步,发布/订阅权限模型对直播与竞拍等场景是刚需。

7月29日周三
7月21日周二
  1. LiveKit Blog62

    LiveKit Unity SDK 2.0.0 正式发布,结束开发者预览

    LiveKit 正式发布 Unity SDK v2.0.0,将其从开发者预览转为正式版本,并称该 SDK 已与现有 LiveKit SDK 达到功能对齐。开发者可在 Unity 游戏中接入实时语音、视频和 AI,用于语音聊天、音视频直播、VR 远程操控机器人以及语音 AI 驱动的 NPC。2.0.0 带来移动端和桌面端的原生平台音频、基于 DataTracks 的高频数据消息和可配置 token 源的简化鉴权;官方支持 Unity 2022.3 及以上版本,覆盖 macOS、Windows、Linux、iOS 和 Android。

    推荐理由:LiveKit Unity SDK 结束开发者预览并达到与其他 SDK 的功能对齐,可据此判断现有 Unity 项目是否迁移。

7月20日周一
7月15日周三
7月9日周四
  1. Cartesia Blog62

    Cartesia 发布面向实时语音代理的语音识别模型 Ink-2

    Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。

    推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。

7月8日周三
7月2日周四
6月18日周四
  1. 中文技术动态72

    火山引擎上线豆包实时语音模型 3.0(Seeduplex)API:全双工端到端语音大模型开启邀测

    火山引擎正式上线豆包实时语音模型 3.0(Seeduplex)API 并开启邀测:原生全双工端到端语音大模型,官方称判停延迟缩短约 250ms、复杂场景抢话比例下降 40%、用户主动打断延迟缩短约 300ms,支持对话中直接调用工具,面向智能座舱、智能硬件与客服场景。

    推荐理由:豆包实时语音 3.0 是国内全双工语音大模型的重要发布,量化指标明确。

6月17日周三
  1. LiveKit Blog80

    LiveKit 发布 Turn Detector v1 话轮检测模型,300ms 延迟预算下误打断率 9.9%

    LiveKit 发布端到端话轮(end-of-turn)检测模型 v1 与 v1-mini,直接对用户音频推理而不依赖转录,把语义分支(音频编码器+适配器+微调 LLM)与声学分支(时序、韵律)融合为单次判定,因此不再需要等待最终转写、也不依赖历史轮次上下文;同时开源 eot-bench 基准与覆盖英语及 13 种语言的真实话轮数据集。官方评测称在 300ms 延迟预算下误打断率 9.9%(Deepgram Flux 12.9%),600ms 预算下降至 4.5%。v1 在 LiveKit Cloud 上对自托管 Agent 免费并设为默认,v1-mini 为同一架构的开放权重模型(代码 Apache-2.0),随 Agents SDK 分发(Python 1.6.1 / TypeScript 1.4.7)。

    推荐理由:话轮检测是语音 Agent 自然度的核心难点,该版本给出公开基准、多语言实测与默认可用路径。

6月10日周三
6月9日周二
  1. Google AI Blog78

    Gemini 3.5 Live Translate:70+ 语言流式语音同传

    Gemini 3.5 Live Translate 自动检测 70+ 语言并生成保留语调、节奏与音高的译文语音,与逐句等待的系统不同,它在保留上下文与即时翻译间权衡,全程仅落后说话人数秒。该模型经 Gemini Live API/Google AI Studio 公开预览,Google Meet 会议翻译语言上限从 5 种提升到 70+,并同步落地 Google Translate App。

    推荐理由:实时语音翻译从轮次制走向流式制,LiveKit、Agora、Pipecat 等平台同日宣布接入,生态影响广。

6月1日周一
5月19日周二
  1. Google AI Blog56

    Google 扩展 SynthID 与内容凭证的媒体溯源覆盖

    Google 公布内容透明度工具进展:SynthID 不可见水印已用于 AI 生成的图像、视频与音频,累计标注超过 1000 亿张图像/视频与 6 万年时长的音频;C2PA Content Credentials 从 Pixel 10 相机扩展到 Pixel 8/9/10 的视频拍摄。SynthID 验证已在 Gemini App 使用 5000 万次,并扩展到 Search 与 Chrome 的“Is this made with AI?”查询;OpenAI、Kakao、ElevenLabs 将引入 SynthID,Google Cloud 上线 AI Content Detection API。

    推荐理由:AI 生成媒体的水印与溯源正在成为音视频平台的合规基础设施,该更新给出规模化数据。

5月13日周三
5月7日周四
  1. 海外技术动态58

    Cloudflare 推出 Stream 的 Workers Binding:在 Worker 内上传、签名与管理视频

    Cloudflare Stream 新增 Workers Binding,开发者可在 Worker 内直接上传视频、创建直传链接、生成签名播放 URL 及管理元数据、字幕与水印,无需手动调用鉴权 API,示例含将 AI 生成视频直接写入 Stream。

    推荐理由:Stream 与 Workers 平台融合的关键一步,面向视频管线与 AI 生成内容场景。

  2. 海外技术动态88

    OpenAI 上线 GPT-Realtime-2 等三款实时语音模型

    OpenAI 在 API 中同时上线三款音频模型:GPT-Realtime-2(首个具备 GPT-5 级推理能力的语音模型,可在对话推进中调用工具)、GPT-Realtime-Translate(70+ 输入语言实时译为 13 种输出语言)与 GPT-Realtime-Whisper(流式语音转写)。官方将其定位为从一问一答转向可边听、边推理、边执行任务的语音接口。

    推荐理由:实时语音模型层的标杆性更新,直接定义语音 Agent 上限,行业影响大。

5月6日周三
  1. 海外技术动态56

    Ant Media Server v3.0:新增 AV1 与 SRT 转推

    Ant Media Server v3.0 彻底清理废弃 API 以支撑插件化架构,新增 AV1 编解码与 SRT re-stream 能力,改进 LL-HLS 集群播放,同时引入 MoQ 插件、AI 视频帧处理插件及 Scribe 自动字幕、Scotty SSAI 等合作伙伴插件。

    推荐理由:开源流媒体服务器季度节奏下的大版本,协议覆盖(AV1/SRT/LL-HLS/MoQ)扩展有代表性。

5月5日周二
4月29日周三
  1. 海外技术动态74

    Deepgram Flux Multilingual:10 语言对话识别 GA

    Deepgram 宣布对话式语音识别模型 Flux Multilingual 正式可用,在单一模型与 API 内支持英、西、法、德、印地、俄、葡、日、意、荷 10 种语言,可实时自动检测语言并支持会话中切换与原生 code-switching;基于模型的轮次判定让 end-of-turn 决策低于 400ms,兼容既有 Flux API 并提供自托管与 EU 端点。

    推荐理由:把 Flux 的对话式 ASR 能力扩展到多语言,免去多模型拼接与路由,是语音 Agent 感知层的实质性升级。

4月17日周五
  1. 海外技术动态60

    Ant Media Server 发布 MoQ 插件支持双向推拉流

    Ant Media Server 以插件形式支持 MoQ:直播流自动经 MoQMuxer 发布到内置 moq-lite relay,浏览器经 WebTransport + WebCodecs/MSE 亚秒级播放,也可从外部 relay(含 Cloudflare MoQ)拉流入 AMS 做录制、转码与再分发;支持 H.264/H.265 与 AAC/Opus,Safari 播放需 macOS/iOS 26.4+。

    推荐理由:传统流媒体服务器接入 MoQ 生态的代表案例,提供 moq-lite 与 IETF 全量规范差异的工程视角。

4月15日周三
4月14日周二
4月13日周一
  1. Google AI Blog62

    YouTube Live 四项更新:横竖屏同播共享聊天、礼物扩展与互动高峰自动避广告

    YouTube Live 更新四项能力:横屏直播也可收礼物并扩展至加拿大、韩国等更多市场,Super Chat/礼物触发个人无广告窗口,互动高峰自动暂停广告,并支持横竖屏同时开播且共用一个聊天室——官方披露 2025 年美国 30% 以上直播观看时长来自联网电视。

    推荐理由:YouTube 直播形态与变现机制的重要调整,CTV 占比数据对行业有参考意义。

4月9日周四
  1. 中文技术动态74

    字节 Seeduplex 全双工语音模型:判停延迟降 250ms

    Seeduplex 基于"边听边说"框架,在豆包 App 全量上线,是全双工语音技术首次规模化落地。官方数据显示:复杂场景下误回复率与误打断率较半双工方案减少一半,AI 抢话比例相对下降 40%,判停延迟降低约 250ms、打断响应延迟缩短约 300ms,整体通话满意度绝对值提升 8.34%。

    推荐理由:全双工对话的关键指标数据完整披露,是评估语音 Agent 自然度的行业参照。

4月3日周五
  1. LiveKit Blog56

    LiveKit 推 data tracks:WebRTC 通道承载非音视频数据

    data tracks 把任意二进制帧接入 LiveKit 的 track 基础设施,面向遥操作、传感器与遥测场景:SFU 按订阅选择性转发,走无序丢失容忍的 WebRTC data channel,采用 12 字节自定义 RTP 风格包头以吃满 MTU,房间内并发轨道理论上限 65,535;已支持 JS、Rust、Python、C++、Unity SDK。

    推荐理由:把 RTC 的选择性转发能力扩展到非音视频数据,对机器人与遥操作类实时应用是实用的能力更新。

3月26日周四
  1. Google AI Blog82

    Gemini 3.1 Flash Live 上线:延迟与指令遵循双提升

    Gemini 3.1 Flash Live 通过 Gemini Live API 在 Google AI Studio 开放预览,官方宣称较 2.5 Flash Native Audio 在延迟、可靠性与自然度上有台阶式提升:嘈杂环境下工具触发更稳、复杂系统指令遵循更强、可识别音高语速等声学细节,实时多模态对话支持 90+ 语言。

    推荐理由:Gemini 实时语音模型代际更新,是语音 Agent 平台侧最重要的供给变化之一。

3月24日周二
  1. WebKit Blog63

    Safari 26.4 支持 WebTransport 与多麦克风采集

    WebKit 在 Safari 26.4 加入 WebTransport,面向低延迟场景(多人游戏、实时协作、视频会议);macOS 上 getUserMedia 可同时采集多路麦克风并动态把已有采集迁移到合适处理单元、同时管理回声消除,便于做播客工具与多路录音;此外增强字幕外观自定义(字号、颜色、背景等)。

    推荐理由:WebTransport 落地与多麦克风采集是实时音视频在 Safari 上的能力补齐。

3月18日周三
  1. Google AI Blog60

    Chrome 推出浏览器发起的自动画中画:未注册媒体会话处理程序的网站也可自动 PiP

    Chrome 引入浏览器发起的自动画中画:对未注册媒体会话操作处理程序的网站,切标签页时也可自动弹出视频 PiP;触发条件严格限定,包括媒体两秒内有声、未使用摄像头/麦克风、用户媒体互动指数超阈值等。

    推荐理由:浏览器播放器行为的重要变化,视频/音乐类 Web 应用需关注触发条件与隐私设定。

3月16日周一
  1. 海外技术动态62

    FFmpeg 8.1 "Hoare" 发布:ProRes/DPX Vulkan 加速、D3D12 AV1 编码与 JPEG-XS 支持

    FFmpeg 8.1 于 3 月 16 日发布,新增 ProRes Vulkan 编码与解码、DPX Vulkan 解码、D3D12 H.264/AV1 编码器、经 libsvtjpegxs 的 JPEG-XS 编解码、IAMF 环绕声混流及实验性 xHE-AAC MPS212 解码;Vulkan 计算编解码器不再依赖运行时 GLSL 编译,swscale 重写的基础工作继续推进。

    推荐理由:多媒体基础设施的年度重要版本,Vulkan 与 D3D12 硬件加速扩展对转码管线选型有直接影响。

  2. FFmpeg News62

    FFmpeg 8.1 "Hoare" 发布,新增 xHE-AAC、Vulkan 与 D3D12 硬件编解码支持

    FFmpeg 8.1 "Hoare" 小版本发布,新增 xHE-AAC Mps212(实验性)、经 libmpeghdec 的 MPEG-H 解码、EXIF 元数据解析和 LCEVC 元数据解析转发,并加入基于 Vulkan 计算的 ProRes 编解码与 DPX 解码、D3D12 H.264/AV1 编码及 scale_d3d12 等滤镜、Rockchip H.264/HEVC 硬件编码。该版本还包含大量内部改动与缺陷修复,Vulkan 计算编解码器和部分滤镜不再依赖运行时 GLSL 编译,swscale 重写的前期工作正在推进。

    推荐理由:FFmpeg 8.1 汇总了解码器、Vulkan 与 D3D12 硬件编解码及新滤镜等变化,可据此判断升级与硬件加速路径。

3月9日周一
  1. Tavus Blog40

    Tavus 推出 Raven-1 多模态感知系统,融合音视频实时理解对话意图

    Tavus 发布 Raven-1 多模态感知系统,将音频、视觉与时间动态统一处理并实时对齐,通过语调、表情、迟疑和语境判断用户真实意图,而非仅依赖文字转写。此前其 Raven-0 已让 AI 具备解读视觉语境的能力。该系统针对传统对话 AI 将语音转为文本后丢失语调、节奏、非语言声音和情绪变化等信息的问题,主张情绪是连续且分层的,无法归入固定类别。