跳到正文
8月16日周日
8月14日周五
  1. LiveKit Blog40

    LiveKit 如何处理零数据保留(ZDR):全平台模型默认不保留、不训练

    LiveKit 宣布其 Inference 中所有 LLM、STT、TTS 模型默认启用零数据保留(ZDR),适用于所有套餐,无需开关或升级配置。ZDR 要求不保留、不记录日志、不训练、不聚合,LiveKit 通过合同、账户或工作区配置及逐请求参数强制第三方提供商遵守,不达标者不予接入。Agent 可观测性数据保留 30 天,Egress 录制存入用户自有云存储,语音克隆样本在最后使用 12 个月后删除。

8月13日周四
  1. LiveKit Blog62

    LiveKit Agents 推出 expressive mode,让语音智能体按对话情绪调整语气

    LiveKit 在 LiveKit Agents 中发布 expressive mode,用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言,由框架统一转换,并会把多句合并成更大块再送入 TTS,以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型,前端可通过 lk.expression 属性获取情绪信号。

    推荐理由:LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记,并给出开启方式与前端联动做法。

8月12日周三
  1. 海外技术动态66

    Deepgram 发布 Flux TTS:面向实时语音 Agent 的“对话原生”文本转语音模型

    Deepgram 发布对话原生 TTS 模型 Flux TTS,主张把 VAD、barge-in、状态管理和对话历史回喂等编排职责收进模型本身:跨轮保持语气、节奏与发音,无需 SSML 或风格标签,原生处理打断并回报“用户实际听到的内容”,每句话有 Idle/Generating/Completing 生命周期事件,且支持说话中改语速与发音。技术上是三项选择——高保真神经编解码、文本与音频交错生成(官方称首音频延迟最低 80ms、长度无关地保持在 200ms 以内)、Mamba 状态空间骨干以固定大小记忆跨会话持有上下文。官方称其朗读词错误率中位 2.2%(约为 ElevenLabs 的一半、Cartesia 的三分之一),难例 3.4%,可云端、自托管或本地部署。

    推荐理由:TTS 从“朗读”转向“面向对话状态”的代表性产品发布,直接影响语音 Agent 的打断与跨轮一致性。

8月11日周二
  1. Cartesia Blog58

    Ink-2 新增关键词提示与可配置轮次检测:专有名词转写更准

    Cartesia 为流式 STT 模型 Ink-2 发布两项功能:keyterm prompting 支持最多 100 个关键词(共 1200 字符)无额外延迟地提升品牌名、药名等实体转写,可配置 turn detection 则允许在端点检测的速度与准确率间调优,并给出 Earnings22 关键词召回数据。

    推荐理由:面向语音 Agent 实战的 STT 能力增强,关键词提示是行业普遍痛点。

8月5日周三
  1. Hugging Face Speech-to-Speech Releases58

    Hugging Face speech-to-speech v0.2.12:Smart Turn v3.2 端点检测与 OpenAI Realtime 的 WebRTC 传输

    speech-to-speech 0.2.x 线的收官版本:Realtime 模式默认启用量化 CPU 版 Smart Turn v3.2 区分完整话轮与思考中停顿(可用 --no_smart_turn 回退 Silero);为 OpenAI Realtime API 新增 WebRTC 传输,在 POST /v1/realtime/calls 做 SDP 协商,RTP 音频与 oai-events 数据通道与 WebSocket 共享同一管线池;并支持 --stt none 直接把 VAD 音频喂给带音频能力的 LLM。

    推荐理由:0.2.x 收官版集中落地话轮检测与 WebRTC 传输两项语音 Agent 关键能力,是 v1.0 之前的稳定基线。

  2. 海外技术动态80

    字节 SeedRealtime 音视频全双工大模型发布,豆包全量上线

    SeedRealtime 以统一端到端架构原生融合音频、视频与文本,在连续多模态流上同步完成感知、理解与表达,支持结合画面消解同音歧义、时序指代理解,并能在察觉画面变化时主动提醒和调用工具。官方端到端人工评测显示,相比级联模型其音视频对话节奏问题减少一半,已在豆包 App 视频通话全量上线。

    推荐理由:业界率先把音视频全双工技术规模化落地的模型发布,代表语音 Agent 从语音向全模态演进。

8月4日周二
8月3日周一
  1. Mux Blog66

    Mux 自建 CDN 路由:每分钟探测,选路 p99 做到 9.9ms

    Mux 停用第三方 RUM 选路,改为自建 CDN Router:每秒级探测节奏是对每家 CDN 与 4 个源站每 60 秒探测一轮,结果写入跨区域 CockroachDB(原始探测、决策与 CDN 实时用量),leader 每分钟基于最近 5 分钟数据判定各区域“足够好”的 CDN,请求路径只做 IP 定位 + 查表 + 加权随机排序,官方称选路 p99 为 9.9ms;同时把冗余流(redundant streams)从 opt-in 改为 opt-out,播放器可在流中途切换 CDN。

    推荐理由:多 CDN 选路的完整工程复盘,含探测频率、决策窗口、p99 与冗余流默认开启策略。

7月31日周五
  1. 海外技术动态72

    Cloudflare 推出 MoQ relay API:隔离中转与分级凭证

    在去年把 330+ 城市全部变为 MoQ relay(每日仍有 1000+ 客户端测试)之后,Cloudflare 新增隔离与访问控制:一次 API 调用即可创建独立 relay 并签发 publish/subscribe 分级 token,无需选区域、估容量、配负载均衡;同时支持 MoQ Transport draft-14 与 draft-16,draft-16 的 PUBLISH 让 relay 在首个观众到来前就开始收流,SUBSCRIBE_NAMESPACE 支持按命名空间批量订阅;beta 期免费。

    推荐理由:MoQ 从开放预览走向可生产使用的关键一步,发布/订阅权限模型对直播与竞拍等场景是刚需。

7月29日周三
7月21日周二
  1. LiveKit Blog62

    LiveKit Unity SDK 2.0.0 正式发布,结束开发者预览

    LiveKit 正式发布 Unity SDK v2.0.0,将其从开发者预览转为正式版本,并称该 SDK 已与现有 LiveKit SDK 达到功能对齐。开发者可在 Unity 游戏中接入实时语音、视频和 AI,用于语音聊天、音视频直播、VR 远程操控机器人以及语音 AI 驱动的 NPC。2.0.0 带来移动端和桌面端的原生平台音频、基于 DataTracks 的高频数据消息和可配置 token 源的简化鉴权;官方支持 Unity 2022.3 及以上版本,覆盖 macOS、Windows、Linux、iOS 和 Android。

    推荐理由:LiveKit Unity SDK 结束开发者预览并达到与其他 SDK 的功能对齐,可据此判断现有 Unity 项目是否迁移。

7月20日周一
7月15日周三
7月9日周四
  1. Cartesia Blog62

    Cartesia 发布面向实时语音代理的语音识别模型 Ink-2

    Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。

    推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。

7月8日周三
7月2日周四
  1. 中文技术动态60

    腾讯云 Tencent-RTC 云游戏实践:稳定网络端到端 50-70ms

    腾讯云游戏用自研 Tencent-RTC 做抗抖动与网络自适应:发送端缓存视频帧、接收端按网络动态调缓冲深度,并用预测算法生成中间帧补偿丢包;传输上基于 UDP 并叠加 FEC 与 ARQ,按数据类型(游戏指令、视频帧、音频)设差异化优先级;量化表现为稳定网络下端到端 50-70ms,盛趣游戏案例做到 1080P/60 帧下延迟小于 40ms,全球部署 2000+ 边缘节点。

    推荐理由:云游戏这一延迟最敏感场景的厂商实测数据与机制说明,40ms/1080P60 的案例有参考价值。

6月18日周四
  1. 中文技术动态72

    火山引擎上线豆包实时语音模型 3.0(Seeduplex)API:全双工端到端语音大模型开启邀测

    火山引擎正式上线豆包实时语音模型 3.0(Seeduplex)API 并开启邀测:原生全双工端到端语音大模型,官方称判停延迟缩短约 250ms、复杂场景抢话比例下降 40%、用户主动打断延迟缩短约 300ms,支持对话中直接调用工具,面向智能座舱、智能硬件与客服场景。

    推荐理由:豆包实时语音 3.0 是国内全双工语音大模型的重要发布,量化指标明确。

6月17日周三
  1. LiveKit Blog80

    LiveKit 发布 Turn Detector v1 话轮检测模型,300ms 延迟预算下误打断率 9.9%

    LiveKit 发布端到端话轮(end-of-turn)检测模型 v1 与 v1-mini,直接对用户音频推理而不依赖转录,把语义分支(音频编码器+适配器+微调 LLM)与声学分支(时序、韵律)融合为单次判定,因此不再需要等待最终转写、也不依赖历史轮次上下文;同时开源 eot-bench 基准与覆盖英语及 13 种语言的真实话轮数据集。官方评测称在 300ms 延迟预算下误打断率 9.9%(Deepgram Flux 12.9%),600ms 预算下降至 4.5%。v1 在 LiveKit Cloud 上对自托管 Agent 免费并设为默认,v1-mini 为同一架构的开放权重模型(代码 Apache-2.0),随 Agents SDK 分发(Python 1.6.1 / TypeScript 1.4.7)。

    推荐理由:话轮检测是语音 Agent 自然度的核心难点,该版本给出公开基准、多语言实测与默认可用路径。

6月16日周二
  1. 腾讯云音视频专区58

    腾讯云应用云渲染弱网体系:自适应编码、弹性帧率与智能码控协同

    把弱网分为带宽抖动、高丢包、高延迟、持续拥塞四类,对应三件武器——自适应编码动态调码率与量化参数、弹性帧率从 60/120fps 平滑降到 30fps、关键帧与参考帧选择性重传;核心是用智能码控统一决策“降码率 vs 降帧率 vs 加重传”,避免编码器与重传模块策略打架导致总带宽失控。

    推荐理由:讲清了多机制并发时的策略冲突与统一指挥思路,对自建弱网策略编排有启发。

6月10日周三
6月9日周二
  1. Google AI Blog78

    Gemini 3.5 Live Translate:70+ 语言流式语音同传

    Gemini 3.5 Live Translate 自动检测 70+ 语言并生成保留语调、节奏与音高的译文语音,与逐句等待的系统不同,它在保留上下文与即时翻译间权衡,全程仅落后说话人数秒。该模型经 Gemini Live API/Google AI Studio 公开预览,Google Meet 会议翻译语言上限从 5 种提升到 70+,并同步落地 Google Translate App。

    推荐理由:实时语音翻译从轮次制走向流式制,LiveKit、Agora、Pipecat 等平台同日宣布接入,生态影响广。

6月1日周一
5月26日周二
  1. 中文技术动态52

    腾讯云 RT-One 教育直播:连麦 <300ms、观看 <1 秒双通道

    文章对比三条路线:纯 WebRTC 延迟 <200ms 但千人以上分发困难,纯 RTMP 3-5 秒延迟且不支持双向,RT-One 用统一架构让台上连麦走 RTC(<300ms)、台下观看走快直播(<1s),观众举手上麦时无感切换;给出的量化指标包括 2000+ 全球节点、抗丢包 >80%、单课堂 10 万人,并按 1v1 教学、万人公开课、小班课等场景给出选择依据。

  2. 海外技术动态62

    mediasoup 3.20.0 发布:内置 SCTP 栈替换 usrsctp

    mediasoup 3.20.0(Node 3.2.0、Rust 0.22.0)用参考 libwebrtc dcsctp 实现的内置 SCTP 栈替换 usrsctp,解决 Rust 多 worker 线程下 usrsctp 非线程安全的问题;SctpParameters 类型与传输层选项同步调整,官方给出 demo 迁移 PR 作为升级参考。

    推荐理由:SFU 核心依赖层的重大重构,直接影响所有使用 DataChannel/SCTP 的 mediasoup 部署。

5月19日周二
  1. Google AI Blog56

    Google 扩展 SynthID 与内容凭证的媒体溯源覆盖

    Google 公布内容透明度工具进展:SynthID 不可见水印已用于 AI 生成的图像、视频与音频,累计标注超过 1000 亿张图像/视频与 6 万年时长的音频;C2PA Content Credentials 从 Pixel 10 相机扩展到 Pixel 8/9/10 的视频拍摄。SynthID 验证已在 Gemini App 使用 5000 万次,并扩展到 Search 与 Chrome 的“Is this made with AI?”查询;OpenAI、Kakao、ElevenLabs 将引入 SynthID,Google Cloud 上线 AI Content Detection API。

    推荐理由:AI 生成媒体的水印与溯源正在成为音视频平台的合规基础设施,该更新给出规模化数据。

5月18日周一
  1. 声网博客58

    声网解读自建实时传输网络 SD-RTN 的调度与质量保障指标

    SD-RTN 以全球 200 多个数据中心(文中另处称 250+)组成软件定义实时网,用基于 UDP 的多路复用传输协议与智能调度系统做动态路由;对外给出分档质量承诺:200ms 内包到达率 99.9%(RTC)、800ms(极速直播)、2s(一般直播),并说明 FEC、自适应码率等弱网对抗手段与传输层加密、抗 DDoS 机制。

    推荐理由:厂商自述底层传输网的架构与可量化 SLA 指标,是理解 RTC 私有传输网络的直接材料。

5月13日周三
5月7日周四
  1. 海外技术动态58

    Cloudflare 推出 Stream 的 Workers Binding:在 Worker 内上传、签名与管理视频

    Cloudflare Stream 新增 Workers Binding,开发者可在 Worker 内直接上传视频、创建直传链接、生成签名播放 URL 及管理元数据、字幕与水印,无需手动调用鉴权 API,示例含将 AI 生成视频直接写入 Stream。

    推荐理由:Stream 与 Workers 平台融合的关键一步,面向视频管线与 AI 生成内容场景。

  2. 海外技术动态88

    OpenAI 上线 GPT-Realtime-2 等三款实时语音模型

    OpenAI 在 API 中同时上线三款音频模型:GPT-Realtime-2(首个具备 GPT-5 级推理能力的语音模型,可在对话推进中调用工具)、GPT-Realtime-Translate(70+ 输入语言实时译为 13 种输出语言)与 GPT-Realtime-Whisper(流式语音转写)。官方将其定位为从一问一答转向可边听、边推理、边执行任务的语音接口。

    推荐理由:实时语音模型层的标杆性更新,直接定义语音 Agent 上限,行业影响大。

5月6日周三
  1. 海外技术动态56

    Ant Media Server v3.0:新增 AV1 与 SRT 转推

    Ant Media Server v3.0 彻底清理废弃 API 以支撑插件化架构,新增 AV1 编解码与 SRT re-stream 能力,改进 LL-HLS 集群播放,同时引入 MoQ 插件、AI 视频帧处理插件及 Scribe 自动字幕、Scotty SSAI 等合作伙伴插件。

    推荐理由:开源流媒体服务器季度节奏下的大版本,协议覆盖(AV1/SRT/LL-HLS/MoQ)扩展有代表性。

5月5日周二
4月29日周三
  1. 海外技术动态74

    Deepgram Flux Multilingual:10 语言对话识别 GA

    Deepgram 宣布对话式语音识别模型 Flux Multilingual 正式可用,在单一模型与 API 内支持英、西、法、德、印地、俄、葡、日、意、荷 10 种语言,可实时自动检测语言并支持会话中切换与原生 code-switching;基于模型的轮次判定让 end-of-turn 决策低于 400ms,兼容既有 Flux API 并提供自托管与 EU 端点。

    推荐理由:把 Flux 的对话式 ASR 能力扩展到多语言,免去多模型拼接与路由,是语音 Agent 感知层的实质性升级。

4月20日周一
4月17日周五
  1. 海外技术动态60

    Ant Media Server 发布 MoQ 插件支持双向推拉流

    Ant Media Server 以插件形式支持 MoQ:直播流自动经 MoQMuxer 发布到内置 moq-lite relay,浏览器经 WebTransport + WebCodecs/MSE 亚秒级播放,也可从外部 relay(含 Cloudflare MoQ)拉流入 AMS 做录制、转码与再分发;支持 H.264/H.265 与 AAC/Opus,Safari 播放需 macOS/iOS 26.4+。

    推荐理由:传统流媒体服务器接入 MoQ 生态的代表案例,提供 moq-lite 与 IETF 全量规范差异的工程视角。

4月15日周三
4月14日周二