跳到正文
  1. 海外技术动态64

    CDN77 详述为何用 NETINT ASIC 转码器替代 x264 与 NVENC 承载数万路直播

    CDN77 媒体系统架构师详解其转码硬件选型:在对客户数百条样本视频、数万次编码的对比测试中,NETINT Quadra T1U ASIC 在 720p/500kbps-1Mbps 社交媒体码率下画质优于 x264,较 GPU 方案约好 10%,能效约为 GPU 的 3 倍;团队最终采购数千张卡承载上万个并行直播流,并用 capped CRF 平衡画质与码率尖峰。文中同时讨论了 ASIC 锁定单一应用的风险与对冲方式。

    推荐理由:罕见的规模化直播转码硬件选型实测复盘,CPU/GPU/ASIC 三路线的画质与能效数据有直接采购参考价值。

  1. Meta AI Research Blog74

    Meta 发布 Muse Realtime Avatar 实时数字人系统

    Meta 推出 Muse Realtime Avatar,把 Muse Realtime Voice 的语音 token 流转化为同步的实时数字人视频,支持面部、手部和全身动作。系统采用自强制与分布匹配蒸馏,将每个视频块的推理从教师模型的 120 次评估降到 2 次,减少 60 倍。它以 448x768、25fps 输出,从用户说完到收到音视频首字节约 870 ms,单张 GB200 可支持 12 路并发实时会话,并嵌入 Meta Video Seal 隐形水印。

    推荐理由:Meta 公开了实时数字人系统的蒸馏方案与端到端延迟、并发数据,可对照自身实时视频生成链路。

  1. Cactus Engineering Blog60

    Hadamard MLP 替代 FFN:单层参数 4.7M 降到 25.6K,算力五分之一

    Needle 用三个从 Walsh-Hadamard 变换起步学习的 Kronecker 分解混合层替代 transformer 前馈层,d=768 时单层参数从约 4.7M 降至 25.6K,每 token 计算约为原来的五分之一,契合端侧权重读取瓶颈。

    推荐理由:量化明确的架构创新,直指端侧推理的内存墙问题。

  2. WebKit Blog62

    WebKit 发布 Safari 27.0:新增 Safari MCP 服务器、可定制 select 与 model 元素

    WebKit 发布 Safari 27.0,特性数量从 6 月首个测试版的 58 项增至 80 项,并累计修复 844 个问题。新增的 Safari MCP 服务器让 Claude Code、Codex 等编码代理访问 DOM、网络请求、截图和控制台输出,完全在本地运行。可定制 select 通过 appearance: base-select 支持完全重设样式,model 元素扩展到 iOS、iPadOS 和 macOS,visionOS 网站可提供沉浸式环境。

    推荐理由:Safari 27.0 一次性放出 80 项特性与 844 项修复,可据此判断哪些新 API 和既有行为变化会影响现有站点。

  1. 海外技术动态75

    FFmpeg 9.0 深度解读:swscale 重写落地、全库 ABI 升版与原生动图 WebP 解码

    VideoLAN 主席 Jean-Baptiste Kempf 逐子系统解读 FFmpeg 9.0:距 8.1 四个半月、160 余位作者的 2200+ 提交,七大库同时升版;Niklas Haas 主导的 swscale 重写引入操作列表分解与 Vulkan SPIR-V 后端,同一转换图可在 CPU/GPU 运行,并支持 SWS_BITEXACT 精确复现;另覆盖动画 WebP 原生解码、NVENC AV1 分层 B 帧与 x86/NEON/RISC-V 汇编优化。

    推荐理由:FFmpeg 9.0 是年内最重要的开源多媒体大版本,此文是目前最系统的第三方深度解读。

  1. 海外技术动态68

    NVIDIA Video Codec SDK 13.1:NVENC 支持 AV1 最多 31 个 B 帧与零拷贝转码

    NVIDIA 发布 Video Codec SDK 13.1,为 AV1 编码新增分层参考模式(Hierarchical Reference Mode),将 NVENC 最大 B 帧数从 7 提升至 31(支持 1/3/7/15/31 配置),官方数据显示 15 B 帧在 CQ 与 VBR 模式下均带来码率节省且几乎无性能损耗;NVDEC 暴露 H.264/HEVC 逐宏块的 QP、编码单元类型与运动向量统计,支持 GOP 感知的帧级精准 Seek,并通过应用侧分配 CUarray 实现 NVDEC 与 NVENC 间零拷贝转码,另提供官方 Docker 开发环境。

    推荐理由:GPU 硬件编解码的主流方案年度更新,AV1 分层 B 帧与零拷贝转码直接影响云端转码密度与画质。

  1. 海外技术动态62

    FFmpeg 8.1 "Hoare" 发布:ProRes/DPX Vulkan 加速、D3D12 AV1 编码与 JPEG-XS 支持

    FFmpeg 8.1 于 3 月 16 日发布,新增 ProRes Vulkan 编码与解码、DPX Vulkan 解码、D3D12 H.264/AV1 编码器、经 libsvtjpegxs 的 JPEG-XS 编解码、IAMF 环绕声混流及实验性 xHE-AAC MPS212 解码;Vulkan 计算编解码器不再依赖运行时 GLSL 编译,swscale 重写的基础工作继续推进。

    推荐理由:多媒体基础设施的年度重要版本,Vulkan 与 D3D12 硬件加速扩展对转码管线选型有直接影响。

  2. 海外技术动态78

    FFmpeg 维护者 Lynne 在 Khronos 博客详解纯 Vulkan 计算着色器编解码器的实现

    FFmpeg Vulkan 代码维护者 Lynne 撰文解释如何用纯计算着色器在任意 Vulkan 1.3 GPU 上实现完整编解码器(FFv1、ProRes、DPX 等),不依赖厂商固定功能单元,并指出全 GPU 常驻(无 CPU 回传)是持续快速的关键;文章给出并行化与串行瓶颈的权衡分析。

    推荐理由:随 FFmpeg 8.1 发布的官方配套深度技术文,代表开源视频硬件加速路线的重要方向。

  3. FFmpeg News62

    FFmpeg 8.1 "Hoare" 发布,新增 xHE-AAC、Vulkan 与 D3D12 硬件编解码支持

    FFmpeg 8.1 "Hoare" 小版本发布,新增 xHE-AAC Mps212(实验性)、经 libmpeghdec 的 MPEG-H 解码、EXIF 元数据解析和 LCEVC 元数据解析转发,并加入基于 Vulkan 计算的 ProRes 编解码与 DPX 解码、D3D12 H.264/AV1 编码及 scale_d3d12 等滤镜、Rockchip H.264/HEVC 硬件编码。该版本还包含大量内部改动与缺陷修复,Vulkan 计算编解码器和部分滤镜不再依赖运行时 GLSL 编译,swscale 重写的前期工作正在推进。

    推荐理由:FFmpeg 8.1 汇总了解码器、Vulkan 与 D3D12 硬件编解码及新滤镜等变化,可据此判断升级与硬件加速路径。

  1. 海外技术动态60

    Apple M5 Pro/M5 Max 媒体引擎确认支持 AV1 硬件解码与 ProRes 编解码

    Apple 发布 M5 Pro 与 M5 Max 芯片(新 MacBook Pro 3 月 4 日预订),媒体处理引擎支持 H.264/HEVC 硬件加速、AV1 硬件解码以及 ProRes 编解码引擎,并首次在所有 M5 系列产品线铺开;配合新一代 GPU(每核内置神经网络加速器)与更高统一内存带宽(M5 Max 达 614GB/s),面向 8K 视频剪辑与 AI 工作流。

    推荐理由:苹果芯片全面铺开 AV1 硬件解码,是端侧编解码硬件格局的实质性变化,影响流媒体平台编码策略。

已经到底了