跳到正文
  1. Meta AI Research Blog74

    Meta 发布 Muse Realtime Avatar 实时数字人系统

    Meta 推出 Muse Realtime Avatar,把 Muse Realtime Voice 的语音 token 流转化为同步的实时数字人视频,支持面部、手部和全身动作。系统采用自强制与分布匹配蒸馏,将每个视频块的推理从教师模型的 120 次评估降到 2 次,减少 60 倍。它以 448x768、25fps 输出,从用户说完到收到音视频首字节约 870 ms,单张 GB200 可支持 12 路并发实时会话,并嵌入 Meta Video Seal 隐形水印。

    推荐理由:Meta 公开了实时数字人系统的蒸馏方案与端到端延迟、并发数据,可对照自身实时视频生成链路。

  1. Meta AI Research Blog74

    Meta 发布 Muse Voice Transcribe 实时语音感知模型

    Meta Superintelligence Labs 发布 Muse Voice Transcribe,一个实时音频感知模型,支持流式 ASR、20 人以上说话人分离和端点检测,原生处理 25 种以上语言并支持句内无缝语码转换。模型以 80ms 音频块(12.5 Hz)自回归处理,通过强化学习实现自适应延迟,在速度与准确率之间取得权衡;训练覆盖 70 多种语言,其中 25 种经过充分验证,并支持超过一小时的长音频输入。

    推荐理由:Meta 公布实时语音感知模型的流式 ASR、说话人分离与端点检测设计,可了解自适应延迟的取舍思路。

  1. 海外技术动态68

    NVIDIA Video Codec SDK 13.1:NVENC 支持 AV1 最多 31 个 B 帧与零拷贝转码

    NVIDIA 发布 Video Codec SDK 13.1,为 AV1 编码新增分层参考模式(Hierarchical Reference Mode),将 NVENC 最大 B 帧数从 7 提升至 31(支持 1/3/7/15/31 配置),官方数据显示 15 B 帧在 CQ 与 VBR 模式下均带来码率节省且几乎无性能损耗;NVDEC 暴露 H.264/HEVC 逐宏块的 QP、编码单元类型与运动向量统计,支持 GOP 感知的帧级精准 Seek,并通过应用侧分配 CUarray 实现 NVDEC 与 NVENC 间零拷贝转码,另提供官方 Docker 开发环境。

    推荐理由:GPU 硬件编解码的主流方案年度更新,AV1 分层 B 帧与零拷贝转码直接影响云端转码密度与画质。

  1. 海外技术动态62

    FFmpeg 8.1 "Hoare" 发布:ProRes/DPX Vulkan 加速、D3D12 AV1 编码与 JPEG-XS 支持

    FFmpeg 8.1 于 3 月 16 日发布,新增 ProRes Vulkan 编码与解码、DPX Vulkan 解码、D3D12 H.264/AV1 编码器、经 libsvtjpegxs 的 JPEG-XS 编解码、IAMF 环绕声混流及实验性 xHE-AAC MPS212 解码;Vulkan 计算编解码器不再依赖运行时 GLSL 编译,swscale 重写的基础工作继续推进。

    推荐理由:多媒体基础设施的年度重要版本,Vulkan 与 D3D12 硬件加速扩展对转码管线选型有直接影响。

  2. FFmpeg News62

    FFmpeg 8.1 "Hoare" 发布,新增 xHE-AAC、Vulkan 与 D3D12 硬件编解码支持

    FFmpeg 8.1 "Hoare" 小版本发布,新增 xHE-AAC Mps212(实验性)、经 libmpeghdec 的 MPEG-H 解码、EXIF 元数据解析和 LCEVC 元数据解析转发,并加入基于 Vulkan 计算的 ProRes 编解码与 DPX 解码、D3D12 H.264/AV1 编码及 scale_d3d12 等滤镜、Rockchip H.264/HEVC 硬件编码。该版本还包含大量内部改动与缺陷修复,Vulkan 计算编解码器和部分滤镜不再依赖运行时 GLSL 编译,swscale 重写的前期工作正在推进。

    推荐理由:FFmpeg 8.1 汇总了解码器、Vulkan 与 D3D12 硬件编解码及新滤镜等变化,可据此判断升级与硬件加速路径。

  1. 海外技术动态60

    Apple M5 Pro/M5 Max 媒体引擎确认支持 AV1 硬件解码与 ProRes 编解码

    Apple 发布 M5 Pro 与 M5 Max 芯片(新 MacBook Pro 3 月 4 日预订),媒体处理引擎支持 H.264/HEVC 硬件加速、AV1 硬件解码以及 ProRes 编解码引擎,并首次在所有 M5 系列产品线铺开;配合新一代 GPU(每核内置神经网络加速器)与更高统一内存带宽(M5 Max 达 614GB/s),面向 8K 视频剪辑与 AI 工作流。

    推荐理由:苹果芯片全面铺开 AV1 硬件解码,是端侧编解码硬件格局的实质性变化,影响流媒体平台编码策略。

已经到底了