Hume 拆解表情测量模型：面部与语音情绪信号如何变成可评测的结构化分数
Hume AI 的技术长文，介绍其 Expression API 背后的面部与语音表情测量模型的科学依据、研发过程与评测方法：把语气、迟疑、惊讶等信号转为结构化分数，用于数据标注、AI 输出评估与跨录音比较，并跟踪交互过程中情绪随时间的变化。
推荐理由：少见地把情绪测量模型的构建与评测方法完整公开，对情感计算与语音 Agent 评测有方法论价值。
#论文/研究
Hume AI Blog精选评分5858
论文与标准精选评分7070 实时语音 Agent 评估综述：从组件级质量指标走向任务落地结果
综述系统梳理实时语音 Agent 的评测谱系：从 ASR/TTS 组件指标，到 VoiceBench、Full-Duplex-Bench v1.5/v2 等会话行为基准（覆盖重叠、打断、多轮与多说话人），再到以状态校验和任务完成为准的 agentic 评测，指出评估重心正从"系统说了什么"转向"在真实对话约束下做了什么"。
推荐理由：语音 Agent 评估方向的系统性综述，为搭建评测体系提供完整地图。
论文与标准精选评分6666 Duplex-MPE：2000 场景评测全双工模型多人交互
该基准构造 2000 个由 3–4 名真人说话者加一个助手组成的场景，以连续音频流（无转写、无轮次边界）评测助手的应答发起、答案准确、保持沉默与适时停说四项能力，并覆盖显式/隐式指涉配对；对 MiniCPM-o 4.5、Moshi、FLM-Audio、Voila、Freeze-Omni 五个开源系统的评测显示 MiniCPM-o 4.5 在三项能力上领先。
推荐理由：把全双工评测从双人对话推进到多方交互，直指语音 Agent 在群聊场景的核心缺陷。
论文与标准精选评分6666 NemotronLabs VoiceChat：带原生工具调用的开源全双工语音到语音模型
论文提出开源全双工语音到语音模型 NemotronLabs VoiceChat，把流式语音编码器、仅解码器语言模型、并行的 agent 文本与结构化函数调用输出流、用于增量转写用户语音的辅助 RNN-T 分支以及流式 TTS 解码器统一在一个流式架构中，使模型能同时听、转写、推理、调工具与说话。在 Full-Duplex-Bench 1.0 上取得所评测开放权重系统中最低的停顿处理接管率、用户打断后 100% 接管与 4.33/5 的打断后回复质量分；FDB 1.5 上回信道（backchannel）后 93% 恢复回复；VoiceBench 归一化均分 55.1，FDB 3.0 工具选择 F1 为 82.5%，但参数准确率与端到端工具执行仍是待改进项。
推荐理由：把全双工对话、流式转写与工具调用整合进单一开源语音模型的代表工作，给出完整基准数据。
Hume AI Blog精选评分6262 Hume 发布语音可控性排行榜，评测 17 个 TTS 模型
Hume 发布 Voice Controllability Leaderboard，从语音设计、语音指令和角色契合三个维度评测 17 个 TTS 模型，采用数万条人工评分而非 LLM 评委，理由是后者可能因数据泄漏抬高分数。结果显示没有单一模型在所有可控性维度领先：Google 与 ElevenLabs 总体领先但各有短板，开源模型在语音设计上仍有竞争力；性别平均准确率 97.87%，年龄仅 51.8%，讽刺是最难传达的语气。
推荐理由：榜单用数万条人工评分对比 17 个语音模型的可控性，并指出 LLM 评委可能因数据泄漏抬高分数。
Cactus Engineering Blog精选评分5858 Cactus 受控实验：删掉 FFN 后 Transformer 只损失 0.006 nats
在控制参数量、算力与深度后测量删除前馈网络的损失：匹配参数下仅 0.006 nats，且集中在无外部信息可查的 token 上；该结论支撑 Needle 2/3 的纯注意力架构，完整研究为 A Controlled Study of Attention-Only Transformers。
推荐理由：对 transformer 架构常识的反直觉实证，方法论干净。
Cactus Engineering Blog精选评分6060 Hadamard MLP 替代 FFN：单层参数 4.7M 降到 25.6K，算力五分之一
Needle 用三个从 Walsh-Hadamard 变换起步学习的 Kronecker 分解混合层替代 transformer 前馈层，d=768 时单层参数从约 4.7M 降至 25.6K，每 token 计算约为原来的五分之一，契合端侧权重读取瓶颈。
推荐理由：量化明确的架构创新，直指端侧推理的内存墙问题。
论文与标准精选评分5757 Voice-Light：带因果话轮与投机生成的全双工级联语音 Agent
论文提出全双工级联语音 Agent Voice-Light，组合即时声学起始检测、与流式 ASR 编码器共享的因果适配器、可逆播放控制和私有的投机回复生成，使结构化工具调用可与桥接语音并发执行，且被取消的音频不会进入对话历史（浏览器端回执让已播放音频成为权威记录）。在 1673 条真实对话静音候选上的锁定评测显示：学习式完结检查点仅 12.53% 话轮结束召回、误截断率 2.70%，而 Silero 时序策略召回 95.60%，因此线上保留混合控制器而非替换为学习策略；三次非脚本化麦克风会话中 36 个回复轮次的中位响应为 758ms（21 轮低于 800ms），作者声明这属于插桩案例研究而非受控用户评测。
推荐理由：少见的公开负面结果与可复现工程细节，说明级联全双工中学习式话轮判断的真实局限。
Cactus Engineering Blog精选评分5858 Needle 3 智能阶梯：一套权重从 2 到 20 层任意深度皆可部署
Needle 3 训练为任意 2-20 层深度都是可部署模型，共享同一残差流，按设备内存预算选择深度而无需为每个尺寸单独训练；文中解释子网络选择、免多轮训练的方法及各深度得分。
推荐理由：一套权重覆盖多种端侧内存预算的工程思路，可跟踪性强。
Tavus Blog精选评分7171 Tavus 发布 Sparrow-2 对话理解模型，在 TurnBench 轮次切换两项任务上领先
Tavus 发布音频原生、流式优先的多语言对话理解模型 Sparrow-2，不再依赖降噪和静音计时器，而是保留并分类背景语音、噪声、反馈语和打断等信号，联合建模语义、韵律与说话人身份。在独立基准 TurnBench 的公开 dev split（38 段对话、7.3 小时音频）上，它取得 92.4% 的轮次结束召回和 97.4% 的打断召回，是唯一同时领先两项任务的系统，中位决策延迟 632 ms，7.6% 的轮次结束未被响应。模型以 10 ms 帧率运行，处理 80 ms 音频约需 7 ms，可容忍 6 至 8 秒的思考停顿，现已通过 Tavus API 和平台正式可用。
推荐理由：Sparrow-2 把轮次切换从端点检测改为整体对话状态建模，并给出与十四套系统的基准对比，可据此判断语音智能体在嘈杂环境中的可用边界。
Hume AI Blog精选评分6262 Hume 发布语音复刻排行榜，评测 11 个 TTS 模型的克隆效果
Hume 发布 Voice Replication Leaderboard，作为 Real World VoiceEQ Benchmark 的新组件，用 25 条参考语音和 7 条提示词评测 11 个 TTS 模型的语音复刻能力，评分维度包括同一说话人、音质、自然度和 TitaNet 说话人嵌入余弦相似度。结果显示没有模型在所有维度领先：Cartesia sonic-3.6-beta 自然度最高（4.36）但同一说话人仅排第八（3.63），OpenBMB VoxCPM2 同一说话人第一（4.21）而自然度第五（3.96）；音质分数集中在 3.85 至 4.61，同一说话人分数跨度更大，为 2.91 至 4.21。
推荐理由：榜单把说话人相似度、自然度、音质和客观相似度分开评测，并给出按口音与情绪拆分的对比，可供选型时参考。
Netflix Technology Blog精选评分7171 Netflix 详解 MAPS：用多模态嵌入做大规模素材个性化
Netflix 介绍 MAPS 多模态素材个性化系统，把 CLIP 图像嵌入与素材 ID 嵌入拼接，让模型在素材刚上线、几乎没有交互数据时就能个性化推荐。该做法把五个画布各自的模型合并为一个，在数据最少的 short-panel 与 landscape-panel 画布上收益最大；消融实验中只有图像嵌入与统一模型同时使用（V3）才在至少四周的线上 A/B 测试中取得显著提升，short-panel 离线 IPS 提升 5.691%。视频预览方面，融合视觉、音频与文本的 MediaFM 在五周 A/B 测试中优于仅用视觉的 SeqCLIP 和纯 ID 基线，已成为默认视频预览嵌入。
推荐理由：Netflix 用 CLIP 与 MediaFM 多模态嵌入解决素材冷启动，并给出离线 IPS 与线性探针的评估取舍。
论文与标准精选评分6060 MoMQ：元数据驱动的多路径 QUIC，P99.9 帧时间降至 114ms
论文指出多路径传输对实时视频收益有限的根因是调度器只看字节、不识别关键帧；MoMQ 作为 MoQT 扩展让应用与 relay 用声明式规则把 Object 元数据映射到标注路径，在 Starlink+WiFi 真实试验台上用 4 条规则将 P99.9 帧完成时间从 384.7ms 降至 114.1ms，播放缓冲需求减少 61.5%，且是唯一满足 150ms 交互延迟目标的配置。
推荐理由：把 MoQT 的语义元数据用于多路径调度，给出了 QUIC 时代弱网对抗的新方向。
论文与标准精选评分5858 MultiMoQ 入选 ACM MM 2026：多接入 MoQ 瓦片流
论文面向 360° 沉浸式直播，基于 MoQ 重新设计多接入路径下的瓦片流投递机制，支持灵活的瓦片调度与无缝接入切换；原型在真实网络仿真中对比 DASH 与标准 MoQ，提升了增强瓦片与基础层的 goodput、降低增强瓦片尾部端到端延迟，并消除标准 MoQ 在带宽受限下的持续停滞。
推荐理由：MoQ 在高码率沉浸式视频上的系统性扩展，已被 ACM MM 2026 接收，代表学术侧的落地验证。
论文与标准精选评分6868 M3-DuplexBench：英日双语全双工对话评测基准
该基准联合评估全双工口语对话系统的交互时机（轮次切换、附和、打断）与响应内容，覆盖英语与日语的闲聊及多轮问答场景，并基于同源语料实现跨语言对比；实验揭示不同全双工模型具有模型特有的交互模式，语言与领域间存在明显性能差异。
推荐理由：全双工语音模型评测方向的代表性新基准，补足多轮、多语言受控对比的空白。
论文与标准精选评分6060 MoQ 时移客户端 ABR 评测：多 4 秒延迟可换 4 倍吞吐
论文在 Mininet 模拟拓扑中评估 MoQ SWITCH 式 ABR 对直播与时移播放的适配，验证标准 ABR 算法可直接用于时移播放并显著提高吞吐：订阅者重缓冲后可恢复更高吞吐，增加不到 4 秒的流延迟即可换来约 4 倍吞吐提升，开源了 MOQtail 扩展与测试框架。
推荐理由：直接回应 MoQ 工作组正在讨论的 ABR 切换语义，给 SWITCH 设计提供实证数据。
Cactus Engineering Blog精选评分6262 Cactus 开源 26M 参数函数调用模型 Needle：端侧预填充 6000 tok/s
Cactus 开源从 Gemini 蒸馏的 26M 参数函数调用模型 Needle，消费级设备上预填充 6000 tok/s、解码 1200 tok/s；核心观察是工具调用本质是检索与组装而非推理，因此采用纯注意力加门控结构、完全去掉 FFN。
推荐理由：端侧函数调用模型的代表性工作，结构取舍结论对端侧 AI 有普适启发。
论文与标准精选评分6666 论文 OCC：用物理层信息辅助 RTC 拥塞控制，尾延迟降低 13%-68%
针对 RTC 试错式带宽探测在蜂窝网络波动下迟缓失准的问题，OCC 直接读取物理层信息实时获取可用带宽，并通过帧级带宽测量、APP 限速感知估计与编码器友好码率控制三项策略适配 RTC 的流量突发与编码滞后特性；在开源蜂窝测试床的实网实验中，尾网络延迟降低 13%-68%，视频帧码率提升 1.2-3.5 倍。
推荐理由：把跨层信息引入实时拥塞控制的新思路，实验增益明确，代表 2026 年 RTC 传输研究的一个方向。
论文与标准精选评分6262 HumDial 全双工赛道：真人双声道数据集与 FDBench
论文基于 ICASSP 2026 HumDial 挑战赛全双工赛道，发布涵盖打断、语音重叠与反馈机制的真实真人双声道对话数据集，并构建评测系统在维持对话流的同时处理打断能力的 HumDial-FDBench 基准，配套公开排行榜以比较开源与商用全双工模型。
推荐理由：为全双工语音系统提供真实录音数据集与可复现评测框架，是该方向的重要基础设施。
论文与标准精选评分7474 论文 Camel：帧级带宽估计提升直播 1080P 占比 70.8%
北大与字节跳动团队发现反直觉现象：编码码率未用满带宽时卡顿仍频发，根因是实时编码的瞬时码率波动让包级拥塞控制误判可用带宽；Camel 改用帧级网络反馈估计真实容量，由带宽与时延估计器、拥塞检测器与突发长度控制器组成；在 2.5 亿用户、20 亿会话、150+ 国家的真实平台上线后，1080P 分辨率占比最多提升 70.8%，媒体码率提升 14.4%，卡顿率最多下降 14.1%；仿真中码率高 19.8%、卡顿率低 93.0%、带宽估计精度提升 23.9%。
推荐理由：从真实大规模平台发现问题并验证的拥塞控制研究，WWW 2026 收录，数据完整。