跳到正文
9月23日周三
  1. Meta AI Research Blog74

    Meta 发布 Muse Realtime Avatar 实时数字人系统

    Meta 推出 Muse Realtime Avatar,把 Muse Realtime Voice 的语音 token 流转化为同步的实时数字人视频,支持面部、手部和全身动作。系统采用自强制与分布匹配蒸馏,将每个视频块的推理从教师模型的 120 次评估降到 2 次,减少 60 倍。它以 448x768、25fps 输出,从用户说完到收到音视频首字节约 870 ms,单张 GB200 可支持 12 路并发实时会话,并嵌入 Meta Video Seal 隐形水印。

    推荐理由:Meta 公开了实时数字人系统的蒸馏方案与端到端延迟、并发数据,可对照自身实时视频生成链路。

9月1日周二
  1. Meta AI Research Blog74

    Meta 发布 Muse Voice Transcribe 实时语音感知模型

    Meta Superintelligence Labs 发布 Muse Voice Transcribe,一个实时音频感知模型,支持流式 ASR、20 人以上说话人分离和端点检测,原生处理 25 种以上语言并支持句内无缝语码转换。模型以 80ms 音频块(12.5 Hz)自回归处理,通过强化学习实现自适应延迟,在速度与准确率之间取得权衡;训练覆盖 70 多种语言,其中 25 种经过充分验证,并支持超过一小时的长音频输入。

    推荐理由:Meta 公布实时语音感知模型的流式 ASR、说话人分离与端点检测设计,可了解自适应延迟的取舍思路。

8月20日周四
  1. Meta AI Research Blog28

    Meta 发布 Muse Spark 1.2 多模态评测结果:视觉编码、机器人与音视频理解

    Meta 公布 Muse Spark 1.2 的多模态评测结果与演示,该版本在模型可调用工具时多模态提升最明显,覆盖视觉编码、图表理解与知识密集型任务。视觉编码可将图像或视频转为可运行网页与游戏代码,机器人侧由高层规划模型配合基于小型 Muse 实验版本的 VLA 策略执行操作。Meta 同时预览内部评测 WildArtifactBench 并放出 10 个任务,Muse Spark 1.2 已在 Meta Model API 和 Muse Code 上线。