跳到正文
  1. IETF WISH 工作组文档78

    RFC 9725 定稿:WebRTC-HTTP 摄取协议 WHIP 成为正式标准

    WISH 工作组的 WHIP 于 2025 年 3 月发布为 RFC 9725(Standards Track),定义基于 HTTP 的简单协议,让 WebRTC 内容可标准化地推入流媒体服务与 CDN,同时更新 RFC 8840 和 RFC 8842。

    推荐理由:WHIP 从草案转正为正式 RFC,是 WebRTC 推流标准化的行业级节点。

  2. IETF MoQ 工作组文档72

    draft-ietf-moq-msf-01:定义运行于 MOQT 之上的流媒体格式 MSF

    IETF MoQ 工作组草案,由 Akamai 的 W. Law 与 Cisco 的 S. Nandakumar 提出,规定在 Media over QUIC Transport(MOQT)上承载媒体的流格式 MSF,2026 年 6 月更新至 01 版,是 MoQ 协议栈的核心规范之一。

    推荐理由:MoQ 核心流格式草案,直接决定新一代低延迟传输的媒体承载方式。

  1. webrtcHacks80

    Chrome 静默上线神经回声消除器,实测回声抑制提升 5.4 dB

    Google Chrome 桌面版在用户不知情的情况下下载了一个 425 KB 的 TFLite 模型,接管 AEC3 中残差回声估计部分,默认开启且无开关,仅 Chrome 可用,Edge、Electron、Firefox 和 Safari 都拿不到。作者用 Microsoft AEC Challenge 合成语料的约 500 个文件跑 audioproc_f 对比,远端单讲帧的中位回声抑制从 19.8 dB 升到 27.0 dB,每文件中位提升 5.4 dB,80% 文件更好,双讲时近端电平基本不变(中位 +0.04 dB)。在 125 个文件上用 Whisper small.en 测试语音代理场景,中位词错率从 0.500 降到 0.235。

    推荐理由:作者用 AEC Challenge 语料实测 Chrome 神经回声消除器,给出回声抑制与语音识别词错率的对照结果。

  1. 海外技术动态78

    IETF MoQ Transport 推进到 draft-22

    2026 年 10 月 1 日发布的 MoQT draft-22 系统定义了运行在 QUIC/WebTransport 之上的发布/订阅协议:Objects/Tracks/Namespaces 数据模型、relay 转发与缓存职责、订阅优先级与传输顺序控制、控制消息线格式,以及用未分配码点防止协议僵化的机制,是 MoQ 走向 RFC 的核心草案。

    推荐理由:MoQ 标准化的主线文档,draft-22 是厂商互操作(Cloudflare/Bitmovin/Ant Media 等)共同对齐的版本。

  1. Tavus Blog74

    Tavus 用状态空间模型解析 Phoenix-4.5:毫秒级实时情感与面部行为生成

    Phoenix-4.5 是首个将情感状态生成、主动倾听行为与连续面部动作统一为单一系统的实时模型,文章以代码讲解其状态空间建模实现,覆盖毫秒级延迟的上下文感知表情与头部动作。

    推荐理由:实时数字人行为生成的技术深度文,披露模型架构思路与延迟水平。

  1. 海外技术动态58

    libaom v3.15 发布:VOD 低复杂度解码模式支持 720p-1080p 并修复一批 AI 检出的安全问题

    AOMedia 视频 编码工作组发布 libaom v3.15(代号 Quibble Pants,发布 tag v3.15.1):完成 VOD 场景低复杂度解码模式的开发并支持 HD 分辨率编码,IntraBC 屏幕内容编码提速且允许用于实时模式,同时修复了近期由 AI 工具检出的多个安全问题;官方建议所有 libaom 用户与发行版维护者升级。

    推荐理由:参考编码器的低复杂度解码模式走向实用,对带宽受限终端的 AV1 落地有直接价值。

  1. 海外技术动态82

    MPEG 155 正式发布超越 VVC 的联合 CfP,ISOBMFF 第 9 版与 Avatar 格式进入 FDIS

    MPEG 第 155 次会议(日内瓦,2026-07)正式发布超越 VVC 的下一代视频压缩联合 CfP(JVET-AQ2021),注册于 9 月初截止、提案 10 月底交付、2027 年 1 月布里斯班会议评审,官方称其规模或超过以往任何一次视频标准立项;ISOBMFF(ISO/IEC 14496-12)第 9 版与 Avatar 表示格式(ISO/IEC 23090-39)推进至 FDIS,预计 2027 年初发布;HEVC 第 7 版首版修正案新增 4:4:4 多视图 profile,VVC 参考软件与符合性测试第三版启动 CD。

    推荐理由:容器基础规范(ISOBMFF 9)与下一代编码 CfP 同场落地,是 2026 年 MPEG 系统与视频标准线最重要的一次集体推进。

  1. 海外技术动态75

    FFmpeg 9.0 深度解读:swscale 重写落地、全库 ABI 升版与原生动图 WebP 解码

    VideoLAN 主席 Jean-Baptiste Kempf 逐子系统解读 FFmpeg 9.0:距 8.1 四个半月、160 余位作者的 2200+ 提交,七大库同时升版;Niklas Haas 主导的 swscale 重写引入操作列表分解与 Vulkan SPIR-V 后端,同一转换图可在 CPU/GPU 运行,并支持 SWS_BITEXACT 精确复现;另覆盖动画 WebP 原生解码、NVENC AV1 分层 B 帧与 x86/NEON/RISC-V 汇编优化。

    推荐理由:FFmpeg 9.0 是年内最重要的开源多媒体大版本,此文是目前最系统的第三方深度解读。

  1. 海外技术动态68

    NVIDIA Video Codec SDK 13.1:NVENC 支持 AV1 最多 31 个 B 帧与零拷贝转码

    NVIDIA 发布 Video Codec SDK 13.1,为 AV1 编码新增分层参考模式(Hierarchical Reference Mode),将 NVENC 最大 B 帧数从 7 提升至 31(支持 1/3/7/15/31 配置),官方数据显示 15 B 帧在 CQ 与 VBR 模式下均带来码率节省且几乎无性能损耗;NVDEC 暴露 H.264/HEVC 逐宏块的 QP、编码单元类型与运动向量统计,支持 GOP 感知的帧级精准 Seek,并通过应用侧分配 CUarray 实现 NVDEC 与 NVENC 间零拷贝转码,另提供官方 Docker 开发环境。

    推荐理由:GPU 硬件编解码的主流方案年度更新,AV1 分层 B 帧与零拷贝转码直接影响云端转码密度与画质。

  1. 海外技术动态68

    AV2 定稿意味着什么:AOMedia 编码工作组联席主席谈实现路线与 AV1/AV2 共存

    AOMedia 视频 编码工作组联席主席 Andrey Norkin(NVIDIA)与 Adrian Grange(Google)访谈:AV2 核心编码工具已锁定、后续仅增 Profile 与元数据;VMAF/PSNR 口径下同画质较 AV1 压缩效率提升约 30%,主观画质增益接近 40%;硬件支持将按"先软件后硬件"节奏推进,AV1 与 AV2 将长期共存。

    推荐理由:标准定稿后官方对实现节奏与迁移策略的权威解读,可直接指导编解码选型决策。

  1. 海外技术动态58

    Phoronix 99 项基准对比三系统:SVT-AV1/OpenAPV 编码 Linux 领先 Windows 11

    Phoronix 在 Core Ultra 9 290HX + RTX 5090 的 Razer Blade 18 上对比 Ubuntu 26.04 LTS、Windows 11 与 CachyOS 共 99 项测试:视频编码方面 Linux 明显占优,Ubuntu/CachyOS 在 OpenAPV 编码的全部设置下压制 Windows 11,AV1(SVT-AV1)编码同样领先,而 Kvazaar H.265 的 1080p 档位下 Windows 11 反而最快;综合几何平均 Windows 11 与 CachyOS 基本持平,但本地 AI/LLM 负载 Windows 11 有约 3 倍的性能优势场景。

    推荐理由:覆盖 SVT-AV1、OpenAPV、Kvazaar 三类编码器的受控系统级实测,为编码农场操作系统选型提供量化依据。

  1. 中文技术动态56

    腾讯云开发者社区拆解狼人杀类实时互动架构:SFU 选型与双信道设计

    按 12 人房间、30%-50% 丢包、<300ms 延迟的需求对比 Mesh/MCU/SFU:Mesh 每人 11 路上行呈 O(N²) 增长,MCU 混音引入 100-200ms 额外延迟,SFU 端到端可低于 150ms 且计算开销最低;弱网上用自适应 FEC(30% 丢包时冗余比提至 40%)、动态 Jitter Buffer(20-100ms)与 Opus 降码率到 6-10kbps,控制流走 WebSocket、媒体流走 UDP/RTP 彻底分离。

    推荐理由:从拓扑选型到弱网参数的完整架构推演,控制/媒体双信道解耦对游戏类 RTC 很实用。

  1. Netflix Technology Blog78

    Netflix 开源 VMAF v1:修正压缩伪影偏置与色带盲区,NEG 默认开启

    Netflix 发布 VMAF v1(模型随 libvmaf v3.2.0 于 2026-06-20 上线):在 DLM 基础上加入 AIM 分量以修正 v0 低码率下偏向切高分辨率、偏爱压缩伪影的系统性偏差;以基于归一化观看距离的特征调整取代 v0 手机模型的二阶多项式映射,避免手机端画质高估;整合 CAMBI 色带检测与色度特征,并将 NEG(抑制增强处理虚增分数)默认开启。v1 提供 1080p、phone、4K 近距/常规观看距离模型,HDR 版本在开发中。

    推荐理由:VMAF 是行业事实上的编码评估标准,v1 对系统误差的修正会改变各家的码率梯设计与编码器对比结论。

  1. 海外技术动态85

    AOMedia 正式发布 AV2 规范:同画质较 AV1 节省约 30% 码率,支持多流多视图

    AOMedia 于 6 月 9 日宣布发布 AV2 规范(v1.0.0 于 5 月 28 日定稿),在免版税专利政策下开发;官方测试显示同画质下较 AV1 约 30% 的带宽节省(PSNR 约 28.6%、VMAF 约 32.6%),原生支持可分级码流、多流/多视图(立体视频、多机位、合成体验)场景;下一步包括 ISO BMFF 封装绑定规范、dav2d 解码器与面向专业应用的 12-bit Profile。

    推荐理由:继 AV1 之后最重要的开源视频标准发布,定义未来数年流媒体编码技术路线。

  1. 海外技术动态65

    W3C 批量发布 WebCodecs 编解码注册规范:AV1/AVC/HEVC 等于 2026 年 6 月同步定稿

    W3C Media Working Group 于 2026-06-08 同日发布 AV1、AVC/H.264、HEVC/H.265、Linear PCM、Vorbis、A-law PCM 六份 WebCodecs 注册规范(随后 9 月又补齐 Opus 与 MP3),逐一定义各编解码器的 codec 字符串、EncodedVideoChunk/AudioDecoderConfig 描述字节及 VideoEncoderConfig 扩展;这使浏览器低层编解码 API 在视频侧主要格式的互操作语义全部落到正式工作组出版物。

    推荐理由:WebCodecs 是浏览器端自研转码/推流管线的基础 API,AV1 与 HEVC 注册定稿让 Web 侧编码策略有了可依赖的规范锚点。

  1. Daily.co Blog74

    NVIDIA 发布开源多语言语音识别模型 Nemotron 3.5 ASR

    NVIDIA 发布多语言语音转文字模型 Nemotron 3.5 ASR,同时提供多语言版和仅英文版 Nemotron 3 ASR 检查点,完全开源、可微调并支持自托管。作者在 Pipecat stt-benchmark 中测得该多语言模型速度超过基准中其他模型且准确率尚可,仅英文版速度相当、准确率接近当前最高分模型。延迟可通过音频处理 chunk size 调节,在 NVIDIA L40S 上以最低延迟配置可安全承载约 96 路并发转写,作者估算企业自托管成本约 $0.05/小时,而主流转写 API 通常为 $0.10-$1.00/小时。

    推荐理由:作者用开源基准给出 Nemotron 3.5 ASR 的延迟与准确率位置,并附自托管成本与并发配置,便于评估语音代理选型。

  1. 海外技术动态60

    MoQ 工作组临时会议:SWITCH 与 DTS 两种 ABR 方案对垒

    2026 年 5 月 26 日 MoQ 虚拟临时会议集中讨论 track 切换:客户端驱动的 SWITCH(PR #1378,订阅者在组边界发 SWITCH 消息)与 Will Law 提出的 relay 执行型 DTS(订阅多轨组成 switching set,由 relay 按吞吐量选轨),会上分析了与基线协议 SUBSCRIBE_UPDATE+FETCH 方案的差异并开放邮件列表共识征集。

    推荐理由:MoQ ABR 语义是标准落地前最关键的未决问题,这份记录呈现了两条技术路线的取舍。

  1. 海外技术动态70

    H.264/HEVC/VP9/AV1 对比评测:从 BD-rate 到按观众分布的盈亏平衡点

    Jan Ozer 的编码器对比研究引入盈亏平衡与上下文 ROI 分析:在 1080p60 体育等内容上,AV1 对 H.264 的 BD-rate 达 -59.83%、HEVC 为 -31.48%,但按真实观众分布加权后节省缩水——高端观众为主的分布约剩 51%,移动端为主的分布 AV1 对 H.264 仅 -23.16%(对应 VMAF +6.96 的画质提升);测得各编解码器的盈亏平衡观看时长(如移动分布下 VP9 为 3188 小时、AV1 为 4099 小时),并给出 25 万观看小时下的净节省金额。

    推荐理由:把编解码对比从单一 BD-rate 数字推进到按观众分布的 ROI 建模,方法与数据对部署决策都有直接用处。

  1. Google AI Blog76

    Google 等三方联合发布 HDR 标准 SMPTE ST 2094-50

    为解决 HDR 与 SDR 内容同屏混排时高光裁切、画面发灰,以及环境光变化导致显示亮度漂移的问题,Google 联合 Apple、NBCUniversal 制定 SMPTE ST 2094-50:一是用 Reference White Anchor 把普通内容的最亮部分映射到固定基线、把额外亮度留给 HDR;二是 Headroom-Adaptive Gain Curves,把适配指令写进视频文件,屏幕余量不足时按创作者意图压缩暗部与中间调以保留高光细节。

    推荐理由:跨厂商的新 HDR 元数据标准,直接决定 HDR 视频在不同亮度屏幕与光照环境下的呈现。

  1. 声网博客76

    OpenAI WebRTC 重构:Relay 与 Transceiver 分离

    针对“一会话一端口”与有状态 ICE/DTLS 会话在 Kubernetes 下的扩容冲突,OpenAI 将数据包路由与协议终止分离:Relay 只做无状态 UDP 转发并借 ICE ufrag 编码路由信息实现首包确定性投递,Transceiver 用 Go+Pion 运行完整 WebRTC 端点;该架构已全量上线,支撑 9 亿周活用户的实时媒体流量,客户端无感知。

    推荐理由:罕见的基础设施级披露,展示超大规模实时语音服务的 WebRTC 架构取舍与开源栈的生产验证。