跳到正文
8月4日周二
  1. 声网博客22

    智能硬件语音交互架构解析:麦克风、RTC、ASR、LLM、TTS 全链路

    智能硬件语音交互的体验瓶颈往往不在 LLM,而在麦克风采集、回声消除、RTC 实时传输、流式 ASR、TTS 播放与打断控制等基础环节。文章拆解了从采集、前处理、实时传输到 ASR、LLM、TTS、播放与打断的完整链路,指出 RTC 是弱网下保持语音连续的关键通道,并建议量产前按真实场景验证麦克风、弱网重连、儿童语音与云端成本。

  2. 海外技术动态75

    FFmpeg 9.0 深度解读:swscale 重写落地、全库 ABI 升版与原生动图 WebP 解码

    VideoLAN 主席 Jean-Baptiste Kempf 逐子系统解读 FFmpeg 9.0:距 8.1 四个半月、160 余位作者的 2200+ 提交,七大库同时升版;Niklas Haas 主导的 swscale 重写引入操作列表分解与 Vulkan SPIR-V 后端,同一转换图可在 CPU/GPU 运行,并支持 SWS_BITEXACT 精确复现;另覆盖动画 WebP 原生解码、NVENC AV1 分层 B 帧与 x86/NEON/RISC-V 汇编优化。

    推荐理由:FFmpeg 9.0 是年内最重要的开源多媒体大版本,此文是目前最系统的第三方深度解读。

  3. 腾讯云音视频专区50

    腾讯云社区:私域直播低延迟优化指南,从协议选型到播放器缓冲的分层实践

    文章按场景区分延迟容忍度(课程类几秒可接受、答题/竞拍需更低),给出 RTMP 推流、HLS/HTTP-FLV 播放与 WebRTC 互动的选型组合,并强调 GOP 长度控制、减少转码层级、播放器缓冲区在"延迟与卡顿"间取平衡,以及首屏时间、卡顿率、丢帧率等监控指标。

8月3日周一
  1. Mux Blog66

    Mux 自建 CDN 路由:每分钟探测,选路 p99 做到 9.9ms

    Mux 停用第三方 RUM 选路,改为自建 CDN Router:每秒级探测节奏是对每家 CDN 与 4 个源站每 60 秒探测一轮,结果写入跨区域 CockroachDB(原始探测、决策与 CDN 实时用量),leader 每分钟基于最近 5 分钟数据判定各区域“足够好”的 CDN,请求路径只做 IP 定位 + 查表 + 加权随机排序,官方称选路 p99 为 9.9ms;同时把冗余流(redundant streams)从 opt-in 改为 opt-out,播放器可在流中途切换 CDN。

    推荐理由:多 CDN 选路的完整工程复盘,含探测频率、决策窗口、p99 与冗余流默认开启策略。

  2. 海外技术动态56

    BlogGeek 观点:换协议救不了通话质量,可观测性才可以

    Tsahi 以客户案例论证 WebRTC 与 SIP 的媒体质量上限相当(都走 RTP/SRTP),质量问题常被误判为协议问题;他主张在改架构前先用 getStats() 做客户端侧全量采集,因为服务端指标“只能看到一半故事”,有观测后定位问题可从数天缩短到数分钟,并明确反对在数据不足时切换 SFU、盲目上 AV1 或追逐 MoQ。

    推荐理由:对“换栈解决问题”倾向的纠偏,强调客户端可观测性优先于架构决策。

7月31日周五
  1. 海外技术动态68

    NVIDIA Video Codec SDK 13.1:NVENC 支持 AV1 最多 31 个 B 帧与零拷贝转码

    NVIDIA 发布 Video Codec SDK 13.1,为 AV1 编码新增分层参考模式(Hierarchical Reference Mode),将 NVENC 最大 B 帧数从 7 提升至 31(支持 1/3/7/15/31 配置),官方数据显示 15 B 帧在 CQ 与 VBR 模式下均带来码率节省且几乎无性能损耗;NVDEC 暴露 H.264/HEVC 逐宏块的 QP、编码单元类型与运动向量统计,支持 GOP 感知的帧级精准 Seek,并通过应用侧分配 CUarray 实现 NVDEC 与 NVENC 间零拷贝转码,另提供官方 Docker 开发环境。

    推荐理由:GPU 硬件编解码的主流方案年度更新,AV1 分层 B 帧与零拷贝转码直接影响云端转码密度与画质。

  2. Netflix Technology Blog22

    Netflix 如何为分析建模设备能力

    Netflix 构建了设备能力数据模型并接入内部系统的功能开关,用于在全球设备生态中做更细粒度的功能管理。其累积表记录每台设备的最新能力状态(如屏幕分辨率、支持的视频 Profile、环绕声、RAM 大小),直方图表则统计过去 28 天内按设备型号和软件版本划分的活跃设备数及能力支持情况。示例数据显示,某类流媒体棒设备全部支持 HD profile(playready),仅 20% 支持 UHD profile(hevc)。

  3. 海外技术动态72

    Cloudflare 推出 MoQ relay API:隔离中转与分级凭证

    在去年把 330+ 城市全部变为 MoQ relay(每日仍有 1000+ 客户端测试)之后,Cloudflare 新增隔离与访问控制:一次 API 调用即可创建独立 relay 并签发 publish/subscribe 分级 token,无需选区域、估容量、配负载均衡;同时支持 MoQ Transport draft-14 与 draft-16,draft-16 的 PUBLISH 让 relay 在首个观众到来前就开始收流,SUBSCRIBE_NAMESPACE 支持按命名空间批量订阅;beta 期免费。

    推荐理由:MoQ 从开放预览走向可生产使用的关键一步,发布/订阅权限模型对直播与竞拍等场景是刚需。

  4. 论文与标准68

    M3-DuplexBench:英日双语全双工对话评测基准

    该基准联合评估全双工口语对话系统的交互时机(轮次切换、附和、打断)与响应内容,覆盖英语与日语的闲聊及多轮问答场景,并基于同源语料实现跨语言对比;实验揭示不同全双工模型具有模型特有的交互模式,语言与领域间存在明显性能差异。

    推荐理由:全双工语音模型评测方向的代表性新基准,补足多轮、多语言受控对比的空白。

7月30日周四
  1. 声网博客22

    旅游高峰期的 AI 语音助手:如何接住暴涨的咨询量

    声网对话式 AI 引擎为旅游平台 AI 语音助手提供实时交互底座,端到端响应延迟可低至 650 ms,打断响应 340 ms,选择性注意力锁定可屏蔽 95% 的环境人声和噪声干扰。该引擎在 80% 丢包率下仍可维持语音对话,断网 3 至 5 秒时也能继续处理连接恢复后的交互,酒店政策、订单状态等业务数据仍由平台自有系统提供。

7月29日周三
7月28日周二
  1. Cartesia Blog38

    TTS 模型好不好?为什么语音合成评测随模型进步而失效,以及如何衡量真正重要的指标

    Cartesia 发文分析 TTS 评测为何随模型进步而失效:语音合成是一对多映射,同一文本可有兴奋、愤怒、悲伤、讽刺等多种正确读法,WER 在可懂度解决后趋于饱和,且受 ASR 质量牵制。评测还需覆盖上下文正确性、文本规范化与专有名词读音,这些错误即使语音流畅也难以察觉。

7月27日周一
  1. 海外技术动态68

    AV2 定稿意味着什么:AOMedia 编码工作组联席主席谈实现路线与 AV1/AV2 共存

    AOMedia 视频 编码工作组联席主席 Andrey Norkin(NVIDIA)与 Adrian Grange(Google)访谈:AV2 核心编码工具已锁定、后续仅增 Profile 与元数据;VMAF/PSNR 口径下同画质较 AV1 压缩效率提升约 30%,主观画质增益接近 40%;硬件支持将按"先软件后硬件"节奏推进,AV1 与 AV2 将长期共存。

    推荐理由:标准定稿后官方对实现节奏与迁移策略的权威解读,可直接指导编解码选型决策。

  2. 海外技术动态62

    写给 CFO 的编解码经济学:AV1 已成诉讼目标,双编码梯子成本必须算清

    Jan Ozer 从财务视角拆解编解码器选型:高级编码器通常在设备兼容率约 30% 时启用,意味着约 70% 流量仍走 H.264 的双梯子成本(双重编码、存储、CDN 缓存效率稀释);不同观看分布下同一 BD-rate 的实际收益差异巨大,且 AV1 的免版税光环已失效——文末警告 AV1 正成为专利诉讼目标,版税结构正在向流媒体内容侧蔓延。文章附七步决策框架与按场景的编解码推荐表。

    推荐理由:把编解码决策从技术参数拉回资本与版税账本,直接回应了 2026 年 AV1 专利诉讼升温的行业现实。

7月22日周三
  1. 声网博客62

    声网拆解 Voice Agent 延迟:STT、LLM、TTS 与 VAD 的可观测指标

    声网把 Voice Agent 的端到端延迟拆成 RTC 延迟、算法前处理延迟、ASR 延迟、LLM 延迟和 TTS 延迟,启用数字人时再加渲染延迟,并给出各段典型范围,如 RTC 150-300 ms、ASR 末字延迟 400-700 ms、LLM 首字节 250-1000 ms、TTS 首字节 100-350 ms。文章建议按轮次记录 session_id、turn_id、asr_final_ts、llm_first_token_ts、tts_first_audio_ts、interrupt_detect_ts 等字段,并分别观测 ASR 的 TTLW 与 WER、LLM 的 TTFB 与 TTFS、TTS 首帧音频、VAD 的起止检测延迟和打断成功率。选型阶段可用声网 AI 模型评测平台对比 ASR、LLM、TTS 组合的 P50、P90、P99 延迟与成本,上线后再用会话级 trace 定位瓶颈。

    推荐理由:把 Voice Agent 的端到端延迟拆成 RTC、ASR、LLM、TTS、VAD 各段,并给出可采集的会话字段与仪表盘结构,适合直接对照搭建观测体系。

  2. AWS Media Blog62

    AWS 对比 NDI SpeedHQ 与 JPEG XS 的编解码画质基准

    AWS 对 NDI SpeedHQ 和 JPEG XS 两种中间编解码器做了独立画质基准测试,测量 PSNR、码率和多代编解码损失。测试用 Netflix Sparks 素材的 600–1200 帧、4:2:2 色度采样、60 fps,在 Amazon EC2 C6id.12xlarge 上运行,NDI 用 Advanced SDK 6.3.1,JPEG XS 用 IntroPix CPU Codec 2.40.1。结果显示 JPEG XS 在低压缩比下绝对画质更高但码率更大,NDI SpeedHQ 在低码率下略优且存在质量上限;两者在连续八代编解码中 PSNR 损失均低于 0.5 dB。

    推荐理由:AWS 用统一流程对比 NDI SpeedHQ 与 JPEG XS 的画质、码率和代际损失,可据此判断长信号链下选哪种中间编解码器。

7月21日周二
  1. LiveKit Blog66

    LiveKit 官方指南:诊断 LiveKit Agents 中的事件循环阻塞

    LiveKit 发布指南,说明 LiveKit Agents 每个任务运行在独立子进程中,由 supervisor 通过事件循环上的 ping/pong 健康检查监控,循环阻塞会导致响应延迟、进程被杀并在约 15 秒内被新实例替换。内置事件循环监控在 Python livekit-agents 1.8.1+ 和 Node.js @livekit/agents 1.9.1+ 默认开启,对 100ms 及以上的停顿告警并给出阻塞代码行,排查可用 py-spy、asyncio debug 模式和 Node.js 事件循环延迟测量。

    推荐理由:LiveKit 官方梳理了阻塞事件循环的日志特征与排查手段,可对照自家 Agent 的告警和 trace 定位问题。

  2. 海外技术动态55

    Cloudflare Radar 解析 2026 世界杯流量:开球时间与观赛习惯重塑全球 HTTP 流量

    Cloudflare 基于全球 HTTP 遥测分析 2026 世界杯对互联网流量的影响,覆盖开球时间、流媒体观看习惯与中场休息带来的流量波动,包括深夜流量峰值与半场浏览高峰。

    推荐理由:大型体育赛事对全球流媒体流量的量化观测,直播容量规划可参考。

  3. LiveKit Blog62

    LiveKit Unity SDK 2.0.0 正式发布,结束开发者预览

    LiveKit 正式发布 Unity SDK v2.0.0,将其从开发者预览转为正式版本,并称该 SDK 已与现有 LiveKit SDK 达到功能对齐。开发者可在 Unity 游戏中接入实时语音、视频和 AI,用于语音聊天、音视频直播、VR 远程操控机器人以及语音 AI 驱动的 NPC。2.0.0 带来移动端和桌面端的原生平台音频、基于 DataTracks 的高频数据消息和可配置 token 源的简化鉴权;官方支持 Unity 2022.3 及以上版本,覆盖 macOS、Windows、Linux、iOS 和 Android。

    推荐理由:LiveKit Unity SDK 结束开发者预览并达到与其他 SDK 的功能对齐,可据此判断现有 Unity 项目是否迁移。

7月20日周一
7月19日周日
  1. 海外技术动态72

    SEC 文件披露:Netflix 以 5.87 亿美元现金收购 Ben Affleck 参与创立的 AI 后期制作公司 InterPositive

    Netflix 在截至 2026 年 6 月 30 日的 10-Q 文件中披露,3 月宣布收购的 InterPositive 现金对价为 5.87 亿美元(此前 Bloomberg 称交易最高可达 6 亿美元);该公司专注后期制作的 AI 工具(补拍镜头、背景替换、灯光修正),不生成全新内容,16 人团队整体加入,Affleck 出任高级顾问;Netflix 另披露约 300 部作品已使用生成式 AI。

    推荐理由:流媒体巨头将 AI 制作能力收归自研的最大单笔交易之一,金额与战略意图均已实锤。

7月17日周五
7月16日周四
  1. LiveKit Blog38

    如何构建不会跑偏的语音 Agent:LiveKit 酒店前台示例的分层防护实践

    LiveKit 以酒店前台参考 Agent 为例,讲解如何让语音 Agent 不脱离脚本:先用结构化提示词设定身份与护栏,再用确定性代码强制校验规则,如用 Python 做卡号长度与 Luhn 检查、用 max_tool_steps 限制工具调用链。文章强调提示词防护对蓄意攻击很弱,真正的规则必须在代码层执行。

7月15日周三
  1. 声网博客74

    声网首测 GPT-Live:响应延迟中位数 1099ms、波动缩 5 倍

    Agora 实验室用 iPhone 13 加人工发声设备、可控网络模拟丢包、双轨录音逐帧取时、每项 n=30 的方法测试三代 ChatGPT 语音模式:GPT-Live-1 正常网络中位响应 1099ms(P90 1203ms、SD 104ms),Advanced Voice Mode 为 1304ms(P90 2318ms、SD 489ms),Standard 级联模式 5197ms;10% 上行丢包下 GPT-Live 仅增 314ms,同级丢包的 P90 仍优于零丢包的上一代;插话停止延迟中位数 1399ms 比上一代慢 498ms,但背景人声误触发从 22 次降到 1 次。

    推荐理由:方法论透明、样本量与局限都交代清楚的端到端延迟实测,弱网下的对比尤其有信息量。

  2. 海外技术动态58

    Phoronix 99 项基准对比三系统:SVT-AV1/OpenAPV 编码 Linux 领先 Windows 11

    Phoronix 在 Core Ultra 9 290HX + RTX 5090 的 Razer Blade 18 上对比 Ubuntu 26.04 LTS、Windows 11 与 CachyOS 共 99 项测试:视频编码方面 Linux 明显占优,Ubuntu/CachyOS 在 OpenAPV 编码的全部设置下压制 Windows 11,AV1(SVT-AV1)编码同样领先,而 Kvazaar H.265 的 1080p 档位下 Windows 11 反而最快;综合几何平均 Windows 11 与 CachyOS 基本持平,但本地 AI/LLM 负载 Windows 11 有约 3 倍的性能优势场景。

    推荐理由:覆盖 SVT-AV1、OpenAPV、Kvazaar 三类编码器的受控系统级实测,为编码农场操作系统选型提供量化依据。

7月14日周二
  1. SVT-AV1 Releases70

    SVT-AV1 4.2 发布:新增 TUNE-VMAF 模式与面向 RTC 的 CBR 率控

    AOMedia 官方 AV1 编码器 SVT-AV1 4.2.0 在 VOD/随机访问模式新增 TUNE-VMAF 目标模式,宣称可带来约 15% 的 VMAF BD-rate 收益而 PSNR 损失极小,并支持单线程处理模式;在 RTC/低延迟模式加入基于 Kalman 滤波 QP 估计的 CBR 率控、循环刷新、帧级重编码以及运行时动态调整预设/码率/帧率的能力,同时补充 LTR 参考帧管理 API 与大量 Arm NEON/SVE2 优化。

7月13日周一
  1. 中文技术动态64

    火山引擎 × 央视网世界杯直播:首帧起播 400ms 内、端到端延迟最低约 1 秒

    火山引擎介绍与央视网的 2026 世界杯转播合作:长视频首帧起播时长压至 400ms 以内,上届世界杯千万级并发下端到端延迟曾压至约 1 秒,本届进一步压缩,并依托"秒级监控、1 分钟级响应、3 分钟止损"SOP 与 AI 智能调度保障传输。

    推荐理由:国内大型赛事直播的最新技术指标披露,反映火山引擎视频云能力边界。

7月10日周五
7月9日周四
  1. Cartesia Blog62

    Cartesia 发布面向实时语音代理的语音识别模型 Ink-2

    Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。

    推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。

7月8日周三
  1. 声网博客34

    2026年7月值得一试的5个免费语音AI开发工具

    声网博客整理了5个可直接上手的免费语音AI工具,覆盖TTS、ASR与端到端语音对话链路。Bosonai Higgs TTS 3以4B参数提供零样本声音克隆和100+语言支持,API免费限速且兼容OpenAI格式;HuggingFace开源语音栈由Parakeet、Gemma 4 31B和Qwen3TTS组成,已在超9000台Reachy Mini机器人上部署。其余为浏览器转录工具SoundWise、支持单词级编辑的开源TTS ViiTorVoice,以及研究导向的扩散式ASR模型。

7月7日周二
  1. LiveKit Blog66

    LiveKit Agents 异步工具:用 ctx.update() 消除慢后端调用期间的通话静默

    livekit-agents 1.6.0(2026-06-11)起支持异步函数工具:工具是同步的直到它调用 await ctx.update(message),首次调用会立即把控制权交还给 LLM 并以该消息作为工具返回值,语音 Agent 因此可以先播报进度、后台继续执行,后续更新只在 Agent 与用户都空闲时播报。文章以退款场景演示(验证订单 6 秒 + 出款 8 秒,共约 14 秒静默导致用户挂断),并给出可取消工具(cancelable 标志会向 LLM 暴露取消工具)、重复调用的四种处置模式以及 ctx.with_filler() 在更新间隙插入填充语音的写法。

    推荐理由:针对语音 Agent 工具调用冷场这一高频体验问题,给出可直接复制的框架级实现。

7月2日周四
  1. webrtcHacks62

    在 Chromium 中启用 libopus AVX2 使 Opus 编码提速约 20%

    作者在桌面 Chromium 的 libopus 构建中启用 AVX2 向量化,替换失效的 OPUS_X86_MAY_HAVE_AVX 并新增 opus_avx2 source_set,编译三个 _avx2.c 内核,使 Opus 编码时间减少 23%。实测显示语音编码下降 17% 至 23%,在复杂度 8、9、10 下稳定;音乐仅降约 2%,解码基本不变。约 96% 的 SILK 收益来自 silk_NSQ_del_dec,该改动已进入 Chromium 152。

  2. 中文技术动态60

    腾讯云 Tencent-RTC 云游戏实践:稳定网络端到端 50-70ms

    腾讯云游戏用自研 Tencent-RTC 做抗抖动与网络自适应:发送端缓存视频帧、接收端按网络动态调缓冲深度,并用预测算法生成中间帧补偿丢包;传输上基于 UDP 并叠加 FEC 与 ARQ,按数据类型(游戏指令、视频帧、音频)设差异化优先级;量化表现为稳定网络下端到端 50-70ms,盛趣游戏案例做到 1080P/60 帧下延迟小于 40ms,全球部署 2000+ 边缘节点。

    推荐理由:云游戏这一延迟最敏感场景的厂商实测数据与机制说明,40ms/1080P60 的案例有参考价值。

6月30日周二
  1. Cartesia Blog30

    如何为真实场景选择语音 AI 模型:ASR、TTS 与轮次检测评估指南

    Cartesia 提出按真实用例而非实验室基准选择语音 AI 模型,指出演示中 600–800ms 的往返延迟在真实电话网络上会升至 2–4 秒、P95 达 5 秒。评估 ASR 应看完整转写时间 TTCT 而非首 token 延迟,端到端低于 200ms 对话才自然,超过 1 秒用户会重复发言;轮次检测的精确率与召回率决定打断和响应表现。