RFC 9725 定稿:WebRTC-HTTP 摄取协议 WHIP 成为正式标准
WISH 工作组的 WHIP 于 2025 年 3 月发布为 RFC 9725(Standards Track),定义基于 HTTP 的简单协议,让 WebRTC 内容可标准化地推入流媒体服务与 CDN,同时更新 RFC 8840 和 RFC 8842。
推荐理由:WHIP 从草案转正为正式 RFC,是 WebRTC 推流标准化的行业级节点。
WISH 工作组的 WHIP 于 2025 年 3 月发布为 RFC 9725(Standards Track),定义基于 HTTP 的简单协议,让 WebRTC 内容可标准化地推入流媒体服务与 CDN,同时更新 RFC 8840 和 RFC 8842。
推荐理由:WHIP 从草案转正为正式 RFC,是 WebRTC 推流标准化的行业级节点。
Meta/Google 作者提出的 MOQT Properties 扩展草案,定义高效承载逐 Object 编码时间戳的属性集,编码结果也可被应用层复用,2026 年 10 月首版。
Meta 与 Google 作者联合提出的 MoQ 草案(2026 年 10 月),为 MOQT 定义订阅级流控扩展:订阅者可限制单个订阅的 subgroup 流数量与总字节数,包含 Setup 协商、信用授予消息与会话错误码。
Cisco Meraki 作者提出的草案,让 MoQ 中继广播自身地理位置与路径指标,用于支持 GDPR/HIPAA 等数据驻留合规的 geo-fencing、GDOR 分布式编排与延迟优化,可选 IATA 机场码作为人类可读标识。
IETF MoQ 工作组草案,由 Akamai 的 W. Law 与 Cisco 的 S. Nandakumar 提出,规定在 Media over QUIC Transport(MOQT)上承载媒体的流格式 MSF,2026 年 6 月更新至 01 版,是 MoQ 协议栈的核心规范之一。
推荐理由:MoQ 核心流格式草案,直接决定新一代低延迟传输的媒体承载方式。
Cisco 与 Microsoft 作者联合提出的低开销媒体容器(LOC)草案第 04 版,定义编码及加密音视频数据的轻量封装,主要服务交互式 MOQT 场景,并与 MSF 目录机制配合声明和消费 LOC 轨道。
Akamai 起草的工作组草案,在 MOQT Streaming Format(MSF)基础上定义可选语法与语义,用于承载 CMAF 打包的媒体,让现有 CMAF 内容生态可平滑接入 MoQ 传输。
Akamai、Comcast、Synamedia 与 Cisco 联合起草的工作组草案,为 MOQT 定义基于 Common Access Token(CAT)的令牌授权机制,2026 年 6 月更新至 01 版。
抓取到的是 IETF datatracker 的文档搜索页面,正文为空,不包含任何具体草案内容,属于采集噪音。
W3C 出版维护工作组公布 EPUB 3.4 候选规范,新增 rendition:layout 的 roll 值,使 Webtoon 式竖向长条漫画可在 EPUB 中渲染,但仅适用于固定版式文档。规范同时加入 AVIF、JPEG XL、OPUS 等内容类型,并将字体混淆等特性标记为过时或弃用。EPUBCheck v5.4.0 已发布以支持 EPUB 3.4 校验,旧文件若通过校验即自动符合新版本。
Google Chrome 桌面版在用户不知情的情况下下载了一个 425 KB 的 TFLite 模型,接管 AEC3 中残差回声估计部分,默认开启且无开关,仅 Chrome 可用,Edge、Electron、Firefox 和 Safari 都拿不到。作者用 Microsoft AEC Challenge 合成语料的约 500 个文件跑 audioproc_f 对比,远端单讲帧的中位回声抑制从 19.8 dB 升到 27.0 dB,每文件中位提升 5.4 dB,80% 文件更好,双讲时近端电平基本不变(中位 +0.04 dB)。在 125 个文件上用 Whisper small.en 测试语音代理场景,中位词错率从 0.500 降到 0.235。
推荐理由:作者用 AEC Challenge 语料实测 Chrome 神经回声消除器,给出回声抑制与语音识别词错率的对照结果。
2026 年 10 月 1 日发布的 MoQT draft-22 系统定义了运行在 QUIC/WebTransport 之上的发布/订阅协议:Objects/Tracks/Namespaces 数据模型、relay 转发与缓存职责、订阅优先级与传输顺序控制、控制消息线格式,以及用未分配码点防止协议僵化的机制,是 MoQ 走向 RFC 的核心草案。
推荐理由:MoQ 标准化的主线文档,draft-22 是厂商互操作(Cloudflare/Bitmovin/Ant Media 等)共同对齐的版本。
Phoenix-4.5 是首个将情感状态生成、主动倾听行为与连续面部动作统一为单一系统的实时模型,文章以代码讲解其状态空间建模实现,覆盖毫秒级延迟的上下文感知表情与头部动作。
推荐理由:实时数字人行为生成的技术深度文,披露模型架构思路与延迟水平。
AOMedia 视频 编码工作组发布 libaom v3.15(代号 Quibble Pants,发布 tag v3.15.1):完成 VOD 场景低复杂度解码模式的开发并支持 HD 分辨率编码,IntraBC 屏幕内容编码提速且允许用于实时模式,同时修复了近期由 AI 工具检出的多个安全问题;官方建议所有 libaom 用户与发行版维护者升级。
推荐理由:参考编码器的低复杂度解码模式走向实用,对带宽受限终端的 AV1 落地有直接价值。
文章讲解表情生成 AI 如何在直播对话中给出有条件、时机准确的面部表情,以及感知、时机与渲染三环节的配合。
文章对比两类 API:聊天 API 处理文本,视频智能体 API 把感知、对话流与渲染组成闭环,并说明架构差异。
MPEG 第 155 次会议(日内瓦,2026-07)正式发布超越 VVC 的下一代视频压缩联合 CfP(JVET-AQ2021),注册于 9 月初截止、提案 10 月底交付、2027 年 1 月布里斯班会议评审,官方称其规模或超过以往任何一次视频标准立项;ISOBMFF(ISO/IEC 14496-12)第 9 版与 Avatar 表示格式(ISO/IEC 23090-39)推进至 FDIS,预计 2027 年初发布;HEVC 第 7 版首版修正案新增 4:4:4 多视图 profile,VVC 参考软件与符合性测试第三版启动 CD。
推荐理由:容器基础规范(ISOBMFF 9)与下一代编码 CfP 同场落地,是 2026 年 MPEG 系统与视频标准线最重要的一次集体推进。
VideoLAN 主席 Jean-Baptiste Kempf 逐子系统解读 FFmpeg 9.0:距 8.1 四个半月、160 余位作者的 2200+ 提交,七大库同时升版;Niklas Haas 主导的 swscale 重写引入操作列表分解与 Vulkan SPIR-V 后端,同一转换图可在 CPU/GPU 运行,并支持 SWS_BITEXACT 精确复现;另覆盖动画 WebP 原生解码、NVENC AV1 分层 B 帧与 x86/NEON/RISC-V 汇编优化。
推荐理由:FFmpeg 9.0 是年内最重要的开源多媒体大版本,此文是目前最系统的第三方深度解读。
NVIDIA 发布 Video Codec SDK 13.1,为 AV1 编码新增分层参考模式(Hierarchical Reference Mode),将 NVENC 最大 B 帧数从 7 提升至 31(支持 1/3/7/15/31 配置),官方数据显示 15 B 帧在 CQ 与 VBR 模式下均带来码率节省且几乎无性能损耗;NVDEC 暴露 H.264/HEVC 逐宏块的 QP、编码单元类型与运动向量统计,支持 GOP 感知的帧级精准 Seek,并通过应用侧分配 CUarray 实现 NVDEC 与 NVENC 间零拷贝转码,另提供官方 Docker 开发环境。
推荐理由:GPU 硬件编解码的主流方案年度更新,AV1 分层 B 帧与零拷贝转码直接影响云端转码密度与画质。
AOMedia 视频 编码工作组联席主席 Andrey Norkin(NVIDIA)与 Adrian Grange(Google)访谈:AV2 核心编码工具已锁定、后续仅增 Profile 与元数据;VMAF/PSNR 口径下同画质较 AV1 压缩效率提升约 30%,主观画质增益接近 40%;硬件支持将按"先软件后硬件"节奏推进,AV1 与 AV2 将长期共存。
推荐理由:标准定稿后官方对实现节奏与迁移策略的权威解读,可直接指导编解码选型决策。
Phoronix 在 Core Ultra 9 290HX + RTX 5090 的 Razer Blade 18 上对比 Ubuntu 26.04 LTS、Windows 11 与 CachyOS 共 99 项测试:视频编码方面 Linux 明显占优,Ubuntu/CachyOS 在 OpenAPV 编码的全部设置下压制 Windows 11,AV1(SVT-AV1)编码同样领先,而 Kvazaar H.265 的 1080p 档位下 Windows 11 反而最快;综合几何平均 Windows 11 与 CachyOS 基本持平,但本地 AI/LLM 负载 Windows 11 有约 3 倍的性能优势场景。
推荐理由:覆盖 SVT-AV1、OpenAPV、Kvazaar 三类编码器的受控系统级实测,为编码农场操作系统选型提供量化依据。
AOMedia 官方 AV1 编码器 SVT-AV1 4.2.0 在 VOD/随机访问模式新增 TUNE-VMAF 目标模式,宣称可带来约 15% 的 VMAF BD-rate 收益而 PSNR 损失极小,并支持单线程处理模式;在 RTC/低延迟模式加入基于 Kalman 滤波 QP 估计的 CBR 率控、循环刷新、帧级重编码以及运行时动态调整预设/码率/帧率的能力,同时补充 LTR 参考帧管理 API 与大量 Arm NEON/SVE2 优化。
作者在桌面 Chromium 的 libopus 构建中启用 AVX2 向量化,替换失效的 OPUS_X86_MAY_HAVE_AVX 并新增 opus_avx2 source_set,编译三个 _avx2.c 内核,使 Opus 编码时间减少 23%。实测显示语音编码下降 17% 至 23%,在复杂度 8、9、10 下稳定;音乐仅降约 2%,解码基本不变。约 96% 的 SILK 收益来自 silk_NSQ_del_dec,该改动已进入 Chromium 152。
按 12 人房间、30%-50% 丢包、<300ms 延迟的需求对比 Mesh/MCU/SFU:Mesh 每人 11 路上行呈 O(N²) 增长,MCU 混音引入 100-200ms 额外延迟,SFU 端到端可低于 150ms 且计算开销最低;弱网上用自适应 FEC(30% 丢包时冗余比提至 40%)、动态 Jitter Buffer(20-100ms)与 Opus 降码率到 6-10kbps,控制流走 WebSocket、媒体流走 UDP/RTP 彻底分离。
推荐理由:从拓扑选型到弱网参数的完整架构推演,控制/媒体双信道解耦对游戏类 RTC 很实用。
Netflix 发布 VMAF v1(模型随 libvmaf v3.2.0 于 2026-06-20 上线):在 DLM 基础上加入 AIM 分量以修正 v0 低码率下偏向切高分辨率、偏爱压缩伪影的系统性偏差;以基于归一化观看距离的特征调整取代 v0 手机模型的二阶多项式映射,避免手机端画质高估;整合 CAMBI 色带检测与色度特征,并将 NEG(抑制增强处理虚增分数)默认开启。v1 提供 1080p、phone、4K 近距/常规观看距离模型,HDR 版本在开发中。
推荐理由:VMAF 是行业事实上的编码评估标准,v1 对系统误差的修正会改变各家的码率梯设计与编码器对比结论。
AOMedia 于 6 月 9 日宣布发布 AV2 规范(v1.0.0 于 5 月 28 日定稿),在免版税专利政策下开发;官方测试显示同画质下较 AV1 约 30% 的带宽节省(PSNR 约 28.6%、VMAF 约 32.6%),原生支持可分级码流、多流/多视图(立体视频、多机位、合成体验)场景;下一步包括 ISO BMFF 封装绑定规范、dav2d 解码器与面向专业应用的 12-bit Profile。
推荐理由:继 AV1 之后最重要的开源视频标准发布,定义未来数年流媒体编码技术路线。
W3C Media Working Group 于 2026-06-08 同日发布 AV1、AVC/H.264、HEVC/H.265、Linear PCM、Vorbis、A-law PCM 六份 WebCodecs 注册规范(随后 9 月又补齐 Opus 与 MP3),逐一定义各编解码器的 codec 字符串、EncodedVideoChunk/AudioDecoderConfig 描述字节及 VideoEncoderConfig 扩展;这使浏览器低层编解码 API 在视频侧主要格式的互操作语义全部落到正式工作组出版物。
推荐理由:WebCodecs 是浏览器端自研转码/推流管线的基础 API,AV1 与 HEVC 注册定稿让 Web 侧编码策略有了可依赖的规范锚点。
NVIDIA 发布多语言语音转文字模型 Nemotron 3.5 ASR,同时提供多语言版和仅英文版 Nemotron 3 ASR 检查点,完全开源、可微调并支持自托管。作者在 Pipecat stt-benchmark 中测得该多语言模型速度超过基准中其他模型且准确率尚可,仅英文版速度相当、准确率接近当前最高分模型。延迟可通过音频处理 chunk size 调节,在 NVIDIA L40S 上以最低延迟配置可安全承载约 96 路并发转写,作者估算企业自托管成本约 $0.05/小时,而主流转写 API 通常为 $0.10-$1.00/小时。
推荐理由:作者用开源基准给出 Nemotron 3.5 ASR 的延迟与准确率位置,并附自托管成本与并发配置,便于评估语音代理选型。
2026 年 5 月 26 日 MoQ 虚拟临时会议集中讨论 track 切换:客户端驱动的 SWITCH(PR #1378,订阅者在组边界发 SWITCH 消息)与 Will Law 提出的 relay 执行型 DTS(订阅多轨组成 switching set,由 relay 按吞吐量选轨),会上分析了与基线协议 SUBSCRIBE_UPDATE+FETCH 方案的差异并开放邮件列表共识征集。
推荐理由:MoQ ABR 语义是标准落地前最关键的未决问题,这份记录呈现了两条技术路线的取舍。
Jan Ozer 的编码器对比研究引入盈亏平衡与上下文 ROI 分析:在 1080p60 体育等内容上,AV1 对 H.264 的 BD-rate 达 -59.83%、HEVC 为 -31.48%,但按真实观众分布加权后节省缩水——高端观众为主的分布约剩 51%,移动端为主的分布 AV1 对 H.264 仅 -23.16%(对应 VMAF +6.96 的画质提升);测得各编解码器的盈亏平衡观看时长(如移动分布下 VP9 为 3188 小时、AV1 为 4099 小时),并给出 25 万观看小时下的净节省金额。
推荐理由:把编解码对比从单一 BD-rate 数字推进到按观众分布的 ROI 建模,方法与数据对部署决策都有直接用处。
为解决 HDR 与 SDR 内容同屏混排时高光裁切、画面发灰,以及环境光变化导致显示亮度漂移的问题,Google 联合 Apple、NBCUniversal 制定 SMPTE ST 2094-50:一是用 Reference White Anchor 把普通内容的最亮部分映射到固定基线、把额外亮度留给 HDR;二是 Headroom-Adaptive Gain Curves,把适配指令写进视频文件,屏幕余量不足时按创作者意图压缩暗部与中间调以保留高光细节。
推荐理由:跨厂商的新 HDR 元数据标准,直接决定 HDR 视频在不同亮度屏幕与光照环境下的呈现。
针对“一会话一端口”与有状态 ICE/DTLS 会话在 Kubernetes 下的扩容冲突,OpenAI 将数据包路由与协议终止分离:Relay 只做无状态 UDP 转发并借 ICE ufrag 编码路由信息实现首包确定性投递,Transceiver 用 Go+Pion 运行完整 WebRTC 端点;该架构已全量上线,支撑 9 亿周活用户的实时媒体流量,客户端无感知。
推荐理由:罕见的基础设施级披露,展示超大规模实时语音服务的 WebRTC 架构取舍与开源栈的生产验证。
MulticoreWare 发布 x265 4.2(2026-04-19),新增实验性的 Threaded Motion Estimation(--threaded-me),在多核低频机器上对 1080p 及更低分辨率最高提速 1.5 倍,但在高频或少核系统上开销可能超过收益;RISC-V 内核优化带来约 2 倍编码提速,ARM NEON/SVE SIMD 优化较 4.1 再快约 8%,并新增 ITU-T H.265 V9 的 Level 6.3-7.2 支持。自该版起项目转向纯 Trunk-Based 开发模式。
推荐理由:主流 HEVC 编码器时隔较长的功能版本,线程化运动估计与 RISC-V/ARM 优化对编码农场选型有参考价值。
AOMedia 发布 SVT-AV1 v4.1.0,重构 MD、EncDec 与熵编码内核,并提升静态图像编码效率。该版本调整了 M3 及以下预设的色度 Wiener Filter 级别,优化静态图像屏幕内容编码,同时修复了单进程多实例编码器挂起等问题。
文章指出把原始音频推过 WebSocket 会继承 TCP 的队头阻塞——单包丢失即让接收端停滞数百毫秒,后续音频积压后突发播放,破坏对话节奏;而 WebRTC 为实时媒体设计,在丢包恢复、抖动缓冲与拥塞控制上开箱即有,作者将其定位为“demo 能跑、生产会垮”的架构差异。
推荐理由:从协议特性出发解释语音 Agent 传输层选型,对自建实时链路的团队有直接参考意义。
FFmpeg 8.1 于 3 月 16 日发布,新增 ProRes Vulkan 编码与解码、DPX Vulkan 解码、D3D12 H.264/AV1 编码器、经 libsvtjpegxs 的 JPEG-XS 编解码、IAMF 环绕声混流及实验性 xHE-AAC MPS212 解码;Vulkan 计算编解码器不再依赖运行时 GLSL 编译,swscale 重写的基础工作继续推进。
推荐理由:多媒体基础设施的年度重要版本,Vulkan 与 D3D12 硬件加速扩展对转码管线选型有直接影响。
FFmpeg Vulkan 代码维护者 Lynne 撰文解释如何用纯计算着色器在任意 Vulkan 1.3 GPU 上实现完整编解码器(FFv1、ProRes、DPX 等),不依赖厂商固定功能单元,并指出全 GPU 常驻(无 CPU 回传)是持续快速的关键;文章给出并行化与串行瓶颈的权衡分析。
推荐理由:随 FFmpeg 8.1 发布的官方配套深度技术文,代表开源视频硬件加速路线的重要方向。
FFmpeg 8.1 "Hoare" 小版本发布,新增 xHE-AAC Mps212(实验性)、经 libmpeghdec 的 MPEG-H 解码、EXIF 元数据解析和 LCEVC 元数据解析转发,并加入基于 Vulkan 计算的 ProRes 编解码与 DPX 解码、D3D12 H.264/AV1 编码及 scale_d3d12 等滤镜、Rockchip H.264/HEVC 硬件编码。该版本还包含大量内部改动与缺陷修复,Vulkan 计算编解码器和部分滤镜不再依赖运行时 GLSL 编译,swscale 重写的前期工作正在推进。
推荐理由:FFmpeg 8.1 汇总了解码器、Vulkan 与 D3D12 硬件编解码及新滤镜等变化,可据此判断升级与硬件加速路径。
Apple 发布 M5 Pro 与 M5 Max 芯片(新 MacBook Pro 3 月 4 日预订),媒体处理引擎支持 H.264/HEVC 硬件加速、AV1 硬件解码以及 ProRes 编解码引擎,并首次在所有 M5 系列产品线铺开;配合新一代 GPU(每核内置神经网络加速器)与更高统一内存带宽(M5 Max 达 614GB/s),面向 8K 视频剪辑与 AI 工作流。
推荐理由:苹果芯片全面铺开 AV1 硬件解码,是端侧编解码硬件格局的实质性变化,影响流媒体平台编码策略。
MPEG 第 153 次会议发布超越 VVC 的下一代视频压缩联合 Call for Proposals 草案(JVET-AO2026),要求提交在压缩性能或附加功能上显著超越 VVC 的技术,明确接受传统信号处理与神经网络/AI 两类方案,并设运行时受限编码测试项;提案将于 2026 年 10 月底截止、2027 年 1 月评审,首版标准预计 2029 年底定稿。同会还推进 ISO/IEC 23888-2 机器视觉编码至 DIS、发布 VVC 符合性测试第三版与 MPEG-I 沉浸式音频验证测试(专家评分中位 84/100)。
推荐理由:后 VVC 时代标准化路线图正式定调,CfP 范围明确纳入神经编解码,是未来五年编码器与硬件规划的锚点。