跳到正文
  1. Meta AI Research Blog74

    Meta 发布 Muse Realtime Avatar 实时数字人系统

    Meta 推出 Muse Realtime Avatar,把 Muse Realtime Voice 的语音 token 流转化为同步的实时数字人视频,支持面部、手部和全身动作。系统采用自强制与分布匹配蒸馏,将每个视频块的推理从教师模型的 120 次评估降到 2 次,减少 60 倍。它以 448x768、25fps 输出,从用户说完到收到音视频首字节约 870 ms,单张 GB200 可支持 12 路并发实时会话,并嵌入 Meta Video Seal 隐形水印。

    推荐理由:Meta 公开了实时数字人系统的蒸馏方案与端到端延迟、并发数据,可对照自身实时视频生成链路。

  1. Meta AI Research Blog74

    Meta 发布 Muse Voice Transcribe 实时语音感知模型

    Meta Superintelligence Labs 发布 Muse Voice Transcribe,一个实时音频感知模型,支持流式 ASR、20 人以上说话人分离和端点检测,原生处理 25 种以上语言并支持句内无缝语码转换。模型以 80ms 音频块(12.5 Hz)自回归处理,通过强化学习实现自适应延迟,在速度与准确率之间取得权衡;训练覆盖 70 多种语言,其中 25 种经过充分验证,并支持超过一小时的长音频输入。

    推荐理由:Meta 公布实时语音感知模型的流式 ASR、说话人分离与端点检测设计,可了解自适应延迟的取舍思路。

已经到底了