DIA:面向云游戏的深度强化学习兴趣感知 ABR 方案
针对云游戏在无线网络下高分辨率、低延迟传输的难题,研究者提出基于深度强化学习的兴趣感知 ABR 方案 DIA,借助现成语义分割模型实现对象级码率调整,并通过基于 Transformer 的特征提取器和兴趣感知奖励函数识别关键对象。该方案依据玩家游戏内移动速度、对象特征和网络状况自适应调整码率,无需眼动追踪等额外硬件。实验显示,在 5G 场景下 DIA 的归一化平均 QoE 至少比 SOTA ABR 算法高 20%。
针对云游戏在无线网络下高分辨率、低延迟传输的难题,研究者提出基于深度强化学习的兴趣感知 ABR 方案 DIA,借助现成语义分割模型实现对象级码率调整,并通过基于 Transformer 的特征提取器和兴趣感知奖励函数识别关键对象。该方案依据玩家游戏内移动速度、对象特征和网络状况自适应调整码率,无需眼动追踪等额外硬件。实验显示,在 5G 场景下 DIA 的归一化平均 QoE 至少比 SOTA ABR 算法高 20%。
Netflix 介绍 MAPS 多模态素材个性化系统,把 CLIP 图像嵌入与素材 ID 嵌入拼接,让模型在素材刚上线、几乎没有交互数据时就能个性化推荐。该做法把五个画布各自的模型合并为一个,在数据最少的 short-panel 与 landscape-panel 画布上收益最大;消融实验中只有图像嵌入与统一模型同时使用(V3)才在至少四周的线上 A/B 测试中取得显著提升,short-panel 离线 IPS 提升 5.691%。视频预览方面,融合视觉、音频与文本的 MediaFM 在五周 A/B 测试中优于仅用视觉的 SeqCLIP 和纯 ID 基线,已成为默认视频预览嵌入。
推荐理由:Netflix 用 CLIP 与 MediaFM 多模态嵌入解决素材冷启动,并给出离线 IPS 与线性探针的评估取舍。
AWS 对 NDI SpeedHQ 和 JPEG XS 两种中间编解码器做了独立画质基准测试,测量 PSNR、码率和多代编解码损失。测试用 Netflix Sparks 素材的 600–1200 帧、4:2:2 色度采样、60 fps,在 Amazon EC2 C6id.12xlarge 上运行,NDI 用 Advanced SDK 6.3.1,JPEG XS 用 IntroPix CPU Codec 2.40.1。结果显示 JPEG XS 在低压缩比下绝对画质更高但码率更大,NDI SpeedHQ 在低码率下略优且存在质量上限;两者在连续八代编解码中 PSNR 损失均低于 0.5 dB。
推荐理由:AWS 用统一流程对比 NDI SpeedHQ 与 JPEG XS 的画质、码率和代际损失,可据此判断长信号链下选哪种中间编解码器。