跳到正文
9月23日周三
  1. Meta AI Research Blog74

    Meta 发布 Muse Realtime Avatar 实时数字人系统

    Meta 推出 Muse Realtime Avatar,把 Muse Realtime Voice 的语音 token 流转化为同步的实时数字人视频,支持面部、手部和全身动作。系统采用自强制与分布匹配蒸馏,将每个视频块的推理从教师模型的 120 次评估降到 2 次,减少 60 倍。它以 448x768、25fps 输出,从用户说完到收到音视频首字节约 870 ms,单张 GB200 可支持 12 路并发实时会话,并嵌入 Meta Video Seal 隐形水印。

    推荐理由:Meta 公开了实时数字人系统的蒸馏方案与端到端延迟、并发数据,可对照自身实时视频生成链路。

9月22日周二
  1. Mux Blog36

    Mux 解析如何用帧、镜头和场景为 AI 视频工作流组织视频

    Mux 提出用帧、镜头、场景三级结构为视频 AI 工作流提供输入,以 Mux Robots 为例说明按问题选择粒度可减少送入视觉模型的图像量。一小时的 30fps 视频含 108,000 帧,逐帧分析既慢又贵;帧回答单个时刻的问题,镜头定位画面切换,场景圈定完整段落。Mux Video 的 Shots 功能通过比较相邻帧的视觉信号检测剪辑点,输出边界列表和每个镜头的代表图。

  2. Tavus Blog34

    Tavus 为 PALs 推出长期记忆功能 Memories,围绕关系构建对话连续性

    Tavus 为 PALs 推出长期记忆功能 Memories,按每段 PAL 与用户的关系维护独立的记忆存储,包含描述用户偏好与目标的 Profile 和记录对话事件的 Timeline。该设计将实时对话所需的持续关系上下文与按需历史检索分离,避免每次响应前增加搜索步骤;记忆内容可查看、纠正和删除。

  3. Tavus Blog66

    Tavus 发布 Phoenix-4.5:实时数字人从全脸生成迈向全身动作与对话表现力

    Tavus 推出 Phoenix 系列实时数字人模型的 4.5 版本,官方定位为三年来在自然度上最大的一次跨越:在 Phoenix-4 情绪可控、主动聆听与连续面部动作的基础上,把生成范围从嘴部、面部扩展到肩部姿态、头部节奏等身体语言。文章为研究与技术综述,说明该版本对实时对话中临场感(presence)的改进。

    推荐理由:实时数字人方向的旗舰产品迭代,直接关系到 Conversational Video Interface 的对话自然度。

9月21日周一
9月18日周五
  1. Cactus Engineering Blog19

    如何为 Needle 3 设计工具:把约束写进 schema 与语法

    Cactus 分享为 Needle 3 设计工具集的规则:每个动作一个工具,参数必须从请求原文中复制,无对应文本的必填参数会直接扣留调用。工具名和枚举值应使用用户会说的词,取值范围、枚举、长度等约束编译进解码语法,使非法值无法生成。描述无法穷举的说法可用触发器正则匹配,将解码限定到对应工具并强制产生调用。

  2. Cactus Engineering Blog50

    Cactus 详解 Needle 的 .cact 单文件格式与 2.125 比特量化

    Cactus 介绍其端侧模型 Needle 使用的 .cact 单文件格式:196 字节头部携带全部架构几何信息,无名张量目录按前向顺序排列,权重以 128 个一组做 Hadamard 旋转后按 Lloyd-Max 码本量化,CQ2 下每权重 2.125 比特。内核直接读取打包索引做查表与 sdot 累加,不展开权重,20 层 needle3.cact 为 29 MB、581 个张量。文中还给出用 struct 解析头部与目录的二十行 Python 代码,并说明同一容器可承载语音模型 Whistle。

    推荐理由:原文拆解了 .cact 单文件格式的头部、目录与分组量化设计,并给出二十行解析代码,可迁移到自研端侧模型加载器。

9月17日周四
  1. Hume AI Blog62

    Hume 发布语音可控性排行榜,评测 17 个 TTS 模型

    Hume 发布 Voice Controllability Leaderboard,从语音设计、语音指令和角色契合三个维度评测 17 个 TTS 模型,采用数万条人工评分而非 LLM 评委,理由是后者可能因数据泄漏抬高分数。结果显示没有单一模型在所有可控性维度领先:Google 与 ElevenLabs 总体领先但各有短板,开源模型在语音设计上仍有竞争力;性别平均准确率 97.87%,年龄仅 51.8%,讽刺是最难传达的语气。

    推荐理由:榜单用数万条人工评分对比 17 个语音模型的可控性,并指出 LLM 评委可能因数据泄漏抬高分数。