Hume 拆解表情测量模型:面部与语音情绪信号如何变成可评测的结构化分数
Hume AI 的技术长文,介绍其 Expression API 背后的面部与语音表情测量模型的科学依据、研发过程与评测方法:把语气、迟疑、惊讶等信号转为结构化分数,用于数据标注、AI 输出评估与跨录音比较,并跟踪交互过程中情绪随时间的变化。
推荐理由:少见地把情绪测量模型的构建与评测方法完整公开,对情感计算与语音 Agent 评测有方法论价值。
Hume AI 的技术长文,介绍其 Expression API 背后的面部与语音表情测量模型的科学依据、研发过程与评测方法:把语气、迟疑、惊讶等信号转为结构化分数,用于数据标注、AI 输出评估与跨录音比较,并跟踪交互过程中情绪随时间的变化。
推荐理由:少见地把情绪测量模型的构建与评测方法完整公开,对情感计算与语音 Agent 评测有方法论价值。
Hume 发布 Voice Controllability Leaderboard,从语音设计、语音指令和角色契合三个维度评测 17 个 TTS 模型,采用数万条人工评分而非 LLM 评委,理由是后者可能因数据泄漏抬高分数。结果显示没有单一模型在所有可控性维度领先:Google 与 ElevenLabs 总体领先但各有短板,开源模型在语音设计上仍有竞争力;性别平均准确率 97.87%,年龄仅 51.8%,讽刺是最难传达的语气。
推荐理由:榜单用数万条人工评分对比 17 个语音模型的可控性,并指出 LLM 评委可能因数据泄漏抬高分数。
在控制参数量、算力与深度后测量删除前馈网络的损失:匹配参数下仅 0.006 nats,且集中在无外部信息可查的 token 上;该结论支撑 Needle 2/3 的纯注意力架构,完整研究为 A Controlled Study of Attention-Only Transformers。
推荐理由:对 transformer 架构常识的反直觉实证,方法论干净。
Needle 用三个从 Walsh-Hadamard 变换起步学习的 Kronecker 分解混合层替代 transformer 前馈层,d=768 时单层参数从约 4.7M 降至 25.6K,每 token 计算约为原来的五分之一,契合端侧权重读取瓶颈。
推荐理由:量化明确的架构创新,直指端侧推理的内存墙问题。
Needle 3 训练为任意 2-20 层深度都是可部署模型,共享同一残差流,按设备内存预算选择深度而无需为每个尺寸单独训练;文中解释子网络选择、免多轮训练的方法及各深度得分。
推荐理由:一套权重覆盖多种端侧内存预算的工程思路,可跟踪性强。
Tavus 发布音频原生、流式优先的多语言对话理解模型 Sparrow-2,不再依赖降噪和静音计时器,而是保留并分类背景语音、噪声、反馈语和打断等信号,联合建模语义、韵律与说话人身份。在独立基准 TurnBench 的公开 dev split(38 段对话、7.3 小时音频)上,它取得 92.4% 的轮次结束召回和 97.4% 的打断召回,是唯一同时领先两项任务的系统,中位决策延迟 632 ms,7.6% 的轮次结束未被响应。模型以 10 ms 帧率运行,处理 80 ms 音频约需 7 ms,可容忍 6 至 8 秒的思考停顿,现已通过 Tavus API 和平台正式可用。
推荐理由:Sparrow-2 把轮次切换从端点检测改为整体对话状态建模,并给出与十四套系统的基准对比,可据此判断语音智能体在嘈杂环境中的可用边界。
Hume 发布 Voice Replication Leaderboard,作为 Real World VoiceEQ Benchmark 的新组件,用 25 条参考语音和 7 条提示词评测 11 个 TTS 模型的语音复刻能力,评分维度包括同一说话人、音质、自然度和 TitaNet 说话人嵌入余弦相似度。结果显示没有模型在所有维度领先:Cartesia sonic-3.6-beta 自然度最高(4.36)但同一说话人仅排第八(3.63),OpenBMB VoxCPM2 同一说话人第一(4.21)而自然度第五(3.96);音质分数集中在 3.85 至 4.61,同一说话人分数跨度更大,为 2.91 至 4.21。
推荐理由:榜单把说话人相似度、自然度、音质和客观相似度分开评测,并给出按口音与情绪拆分的对比,可供选型时参考。
Netflix 介绍 MAPS 多模态素材个性化系统,把 CLIP 图像嵌入与素材 ID 嵌入拼接,让模型在素材刚上线、几乎没有交互数据时就能个性化推荐。该做法把五个画布各自的模型合并为一个,在数据最少的 short-panel 与 landscape-panel 画布上收益最大;消融实验中只有图像嵌入与统一模型同时使用(V3)才在至少四周的线上 A/B 测试中取得显著提升,short-panel 离线 IPS 提升 5.691%。视频预览方面,融合视觉、音频与文本的 MediaFM 在五周 A/B 测试中优于仅用视觉的 SeqCLIP 和纯 ID 基线,已成为默认视频预览嵌入。
推荐理由:Netflix 用 CLIP 与 MediaFM 多模态嵌入解决素材冷启动,并给出离线 IPS 与线性探针的评估取舍。
Cactus 开源从 Gemini 蒸馏的 26M 参数函数调用模型 Needle,消费级设备上预填充 6000 tok/s、解码 1200 tok/s;核心观察是工具调用本质是检索与组装而非推理,因此采用纯注意力加门控结构、完全去掉 FFN。
推荐理由:端侧函数调用模型的代表性工作,结构取舍结论对端侧 AI 有普适启发。
Daily 发布语音智能体基准 aiwf_medium_context,测试文本模式 LLM 与语音到语音模型在约 30 轮长对话中的工具调用、指令遵循和知识引用,源码已在 GitHub 开源。结果显示已有三个模型在该基准上各项指标达到 100%,但都太慢,无法满足语音智能体所需的 1500ms 以内语音到语音响应(约对应文本模型 700ms TTFT);生产中最常用的仍是 GPT-4.1 和 Gemini 2.5 Flash,AWS Nova 2 Pro 在性能与延迟上与之持平。语音到语音模型中 Ultravox 0.7 表现突出,GPT Realtime 通过率为 86.7%,低于 GPT-4.1 的 94.9%。
推荐理由:Daily 公开语音智能体基准的源码与结果,可看到长多轮对话下模型能力与延迟之间的取舍。
Cartesia 公布分层网络 H-Nets 研究,其动态分块机制把原始数据切分并压缩为更高层概念,由编码器、主网络和解码器三部分组成。在语言建模上,H-Nets 直接从原始字节学习,数据扩展性优于使用 BPE 分词的 Transformer,在中文、代码和 DNA 等无自然分词边界的领域提升更明显,并可堆叠学习更深层级,对大小写等输入扰动更稳健。团队已在 HuggingFace 发布 H-Net 2-stage XL、1-stage XL 和 1-stage L 检查点。
推荐理由:原文给出 H-Net 在语言建模上的三项结果与架构设计,可据此判断分层建模对多模态与长上下文的适用边界。
Cartesia 发布论文与博客,提出循环架构 Based,用滑动窗口注意力(窗口 64)加线性注意力(对 exp(QK^T) 做二阶泰勒近似)组合,在信息抽取、阅读理解等召回密集型任务上平均比 Mamba 高 6.22 个准确率点。处理提示时 Based 比 FlashAttention-2 和 Mamba 分别快 56% 和 44%,文本生成吞吐最高达 FlashAttention-2 的 24 倍;但 Based 与 Mamba 仍不及最强 Transformer 基线。配套 IO 感知算法与检查点已在 Hugging Face 和 GitHub 仓库开源。
推荐理由:论文给出召回与显存之间的权衡分析,并说明 Based 如何用滑窗加线性注意力落到该曲线上。