DIA：面向云游戏的深度强化学习兴趣感知 ABR 方案
针对云游戏在无线网络下高分辨率、低延迟传输的难题，研究者提出基于深度强化学习的兴趣感知 ABR 方案 DIA，借助现成语义分割模型实现对象级码率调整，并通过基于 Transformer 的特征提取器和兴趣感知奖励函数识别关键对象。该方案依据玩家游戏内移动速度、对象特征和网络状况自适应调整码率，无需眼动追踪等额外硬件。实验显示，在 5G 场景下 DIA 的归一化平均 QoE 至少比 SOTA ABR 算法高 20%。
#论文/研究
arXiv cs.MM评分3838 arXiv eess.AS评分4040 E3-System：可显式控制、易用的表达性零样本 TTS 框架
E3-System 是一个面向表达性零样本 TTS 的意图到语音统一框架，可在给定目标说话人和自然语言风格描述或语音风格提示时，生成保留目标音色的表达性语音。它通过千小时多语言情感语音数据集 EmoData、将文本描述对齐为声学风格提示的 Style-RAG，以及借助 VC 增强音色-风格解耦的 Dual-TTS，打通从风格建模到可控合成的完整控制闭环。实验显示其在语音质量、说话人保持和显式表达控制上表现良好。
arXiv cs.MM评分2222 EmoGavel：面向多模态情感偏好学习的可验证奖励接地感知强化学习框架
EmoGavel 是一个面向多模态情感偏好学习的接地感知强化学习框架，通过可验证奖励同时学习偏好预测、错误定位、修复与缺失证据恢复。其先以 Grounded SFT 利用受控错误构造信息进行监督微调，再用 GA-GRPO 结合偏好门控接地奖励与动态零方差救援优化可验证结果。在 EmoPrefer 与受控错误评测集上，该方法提升了自然偏好预测与受控错误判别能力，并保持较强的错误接地性能。
Hume AI Blog精选评分5858 Hume 拆解表情测量模型：面部与语音情绪信号如何变成可评测的结构化分数
Hume AI 的技术长文，介绍其 Expression API 背后的面部与语音表情测量模型的科学依据、研发过程与评测方法：把语气、迟疑、惊讶等信号转为结构化分数，用于数据标注、AI 输出评估与跨录音比较，并跟踪交互过程中情绪随时间的变化。
推荐理由：少见地把情绪测量模型的构建与评测方法完整公开，对情感计算与语音 Agent 评测有方法论价值。
Hume AI Blog评分3636 评估 Google 多说话人 TTS：为什么私有评测很重要
Hume AI 用自建评分标准独立评测了 5 个 Gemini TTS 模型的多说话人对话能力，Gemini 3.8 Flash 与 3.8 Flash-Lite 综合得分最高，分别为 4.11 和 4.10。情感控制是各模型最强项，达 4.26 至 4.31；说话人区分度最弱，五个模型中四个垫底，同性别组合尤其困难，男男配对平均仅 2.87。
论文与标准精选评分7070 实时语音 Agent 评估综述：从组件级质量指标走向任务落地结果
综述系统梳理实时语音 Agent 的评测谱系：从 ASR/TTS 组件指标，到 VoiceBench、Full-Duplex-Bench v1.5/v2 等会话行为基准（覆盖重叠、打断、多轮与多说话人），再到以状态校验和任务完成为准的 agentic 评测，指出评估重心正从"系统说了什么"转向"在真实对话约束下做了什么"。
推荐理由：语音 Agent 评估方向的系统性综述，为搭建评测体系提供完整地图。
论文与标准精选评分6666 Duplex-MPE：2000 场景评测全双工模型多人交互
该基准构造 2000 个由 3–4 名真人说话者加一个助手组成的场景，以连续音频流（无转写、无轮次边界）评测助手的应答发起、答案准确、保持沉默与适时停说四项能力，并覆盖显式/隐式指涉配对；对 MiniCPM-o 4.5、Moshi、FLM-Audio、Voila、Freeze-Omni 五个开源系统的评测显示 MiniCPM-o 4.5 在三项能力上领先。
推荐理由：把全双工评测从双人对话推进到多方交互，直指语音 Agent 在群聊场景的核心缺陷。
Hume AI Blog评分4040 Google Gemini 3.8 Flash TTS 登顶 Hume 真实世界 VoiceEQ 榜单
Hume 对 Google Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 预览版进行独立评测，两款模型分列 Expressivity–Reliability 前沿评分第一、第二，达 0.920 和 0.914。相比 Gemini 3.1 Flash TTS，长文本稳定性得分从 1.22 升至 2.89 和 3.03（五分制），语音设计可控性领先，但说话人相似度与部分精细控制仍偏弱。
论文与标准精选评分6666 NemotronLabs VoiceChat：带原生工具调用的开源全双工语音到语音模型
论文提出开源全双工语音到语音模型 NemotronLabs VoiceChat，把流式语音编码器、仅解码器语言模型、并行的 agent 文本与结构化函数调用输出流、用于增量转写用户语音的辅助 RNN-T 分支以及流式 TTS 解码器统一在一个流式架构中，使模型能同时听、转写、推理、调工具与说话。在 Full-Duplex-Bench 1.0 上取得所评测开放权重系统中最低的停顿处理接管率、用户打断后 100% 接管与 4.33/5 的打断后回复质量分；FDB 1.5 上回信道（backchannel）后 93% 恢复回复；VoiceBench 归一化均分 55.1，FDB 3.0 工具选择 F1 为 82.5%，但参数准确率与端到端工具执行仍是待改进项。
推荐理由：把全双工对话、流式转写与工具调用整合进单一开源语音模型的代表工作，给出完整基准数据。
Hume AI Blog精选评分6262 Hume 发布语音可控性排行榜，评测 17 个 TTS 模型
Hume 发布 Voice Controllability Leaderboard，从语音设计、语音指令和角色契合三个维度评测 17 个 TTS 模型，采用数万条人工评分而非 LLM 评委，理由是后者可能因数据泄漏抬高分数。结果显示没有单一模型在所有可控性维度领先：Google 与 ElevenLabs 总体领先但各有短板，开源模型在语音设计上仍有竞争力；性别平均准确率 97.87%，年龄仅 51.8%，讽刺是最难传达的语气。
推荐理由：榜单用数万条人工评分对比 17 个语音模型的可控性，并指出 LLM 评委可能因数据泄漏抬高分数。
Cactus Engineering Blog精选评分5858 Cactus 受控实验：删掉 FFN 后 Transformer 只损失 0.006 nats
在控制参数量、算力与深度后测量删除前馈网络的损失：匹配参数下仅 0.006 nats，且集中在无外部信息可查的 token 上；该结论支撑 Needle 2/3 的纯注意力架构，完整研究为 A Controlled Study of Attention-Only Transformers。
推荐理由：对 transformer 架构常识的反直觉实证，方法论干净。
Cactus Engineering Blog精选评分6060 Hadamard MLP 替代 FFN：单层参数 4.7M 降到 25.6K，算力五分之一
Needle 用三个从 Walsh-Hadamard 变换起步学习的 Kronecker 分解混合层替代 transformer 前馈层，d=768 时单层参数从约 4.7M 降至 25.6K，每 token 计算约为原来的五分之一，契合端侧权重读取瓶颈。
推荐理由：量化明确的架构创新，直指端侧推理的内存墙问题。
论文与标准精选评分5757 Voice-Light：带因果话轮与投机生成的全双工级联语音 Agent
论文提出全双工级联语音 Agent Voice-Light，组合即时声学起始检测、与流式 ASR 编码器共享的因果适配器、可逆播放控制和私有的投机回复生成，使结构化工具调用可与桥接语音并发执行，且被取消的音频不会进入对话历史（浏览器端回执让已播放音频成为权威记录）。在 1673 条真实对话静音候选上的锁定评测显示：学习式完结检查点仅 12.53% 话轮结束召回、误截断率 2.70%，而 Silero 时序策略召回 95.60%，因此线上保留混合控制器而非替换为学习策略；三次非脚本化麦克风会话中 36 个回复轮次的中位响应为 758ms（21 轮低于 800ms），作者声明这属于插桩案例研究而非受控用户评测。
推荐理由：少见的公开负面结果与可复现工程细节，说明级联全双工中学习式话轮判断的真实局限。
Cactus Engineering Blog精选评分5858 Needle 3 智能阶梯：一套权重从 2 到 20 层任意深度皆可部署
Needle 3 训练为任意 2-20 层深度都是可部署模型，共享同一残差流，按设备内存预算选择深度而无需为每个尺寸单独训练；文中解释子网络选择、免多轮训练的方法及各深度得分。
推荐理由：一套权重覆盖多种端侧内存预算的工程思路，可跟踪性强。
Tavus Blog精选评分7171 Tavus 发布 Sparrow-2 对话理解模型，在 TurnBench 轮次切换两项任务上领先
Tavus 发布音频原生、流式优先的多语言对话理解模型 Sparrow-2，不再依赖降噪和静音计时器，而是保留并分类背景语音、噪声、反馈语和打断等信号，联合建模语义、韵律与说话人身份。在独立基准 TurnBench 的公开 dev split（38 段对话、7.3 小时音频）上，它取得 92.4% 的轮次结束召回和 97.4% 的打断召回，是唯一同时领先两项任务的系统，中位决策延迟 632 ms，7.6% 的轮次结束未被响应。模型以 10 ms 帧率运行，处理 80 ms 音频约需 7 ms，可容忍 6 至 8 秒的思考停顿，现已通过 Tavus API 和平台正式可用。
推荐理由：Sparrow-2 把轮次切换从端点检测改为整体对话状态建模，并给出与十四套系统的基准对比，可据此判断语音智能体在嘈杂环境中的可用边界。
Hume AI Blog精选评分6262 Hume 发布语音复刻排行榜，评测 11 个 TTS 模型的克隆效果
Hume 发布 Voice Replication Leaderboard，作为 Real World VoiceEQ Benchmark 的新组件，用 25 条参考语音和 7 条提示词评测 11 个 TTS 模型的语音复刻能力，评分维度包括同一说话人、音质、自然度和 TitaNet 说话人嵌入余弦相似度。结果显示没有模型在所有维度领先：Cartesia sonic-3.6-beta 自然度最高（4.36）但同一说话人仅排第八（3.63），OpenBMB VoxCPM2 同一说话人第一（4.21）而自然度第五（3.96）；音质分数集中在 3.85 至 4.61，同一说话人分数跨度更大，为 2.91 至 4.21。
推荐理由：榜单把说话人相似度、自然度、音质和客观相似度分开评测，并给出按口音与情绪拆分的对比，可供选型时参考。
Netflix Technology Blog精选评分7171 Netflix 详解 MAPS：用多模态嵌入做大规模素材个性化
Netflix 介绍 MAPS 多模态素材个性化系统，把 CLIP 图像嵌入与素材 ID 嵌入拼接，让模型在素材刚上线、几乎没有交互数据时就能个性化推荐。该做法把五个画布各自的模型合并为一个，在数据最少的 short-panel 与 landscape-panel 画布上收益最大；消融实验中只有图像嵌入与统一模型同时使用（V3）才在至少四周的线上 A/B 测试中取得显著提升，short-panel 离线 IPS 提升 5.691%。视频预览方面，融合视觉、音频与文本的 MediaFM 在五周 A/B 测试中优于仅用视觉的 SeqCLIP 和纯 ID 基线，已成为默认视频预览嵌入。
推荐理由：Netflix 用 CLIP 与 MediaFM 多模态嵌入解决素材冷启动，并给出离线 IPS 与线性探针的评估取舍。
Meta AI Research Blog评分2828 Meta 发布 Muse Spark 1.2 多模态评测结果：视觉编码、机器人与音视频理解
Meta 公布 Muse Spark 1.2 的多模态评测结果与演示，该版本在模型可调用工具时多模态提升最明显，覆盖视觉编码、图表理解与知识密集型任务。视觉编码可将图像或视频转为可运行网页与游戏代码，机器人侧由高层规划模型配合基于小型 Muse 实验版本的 VLA 策略执行操作。Meta 同时预览内部评测 WildArtifactBench 并放出 10 个任务，Muse Spark 1.2 已在 Meta Model API 和 Muse Code 上线。
论文与标准精选评分6060 MoMQ：元数据驱动的多路径 QUIC，P99.9 帧时间降至 114ms
论文指出多路径传输对实时视频收益有限的根因是调度器只看字节、不识别关键帧；MoMQ 作为 MoQT 扩展让应用与 relay 用声明式规则把 Object 元数据映射到标注路径，在 Starlink+WiFi 真实试验台上用 4 条规则将 P99.9 帧完成时间从 384.7ms 降至 114.1ms，播放缓冲需求减少 61.5%，且是唯一满足 150ms 交互延迟目标的配置。
推荐理由：把 MoQT 的语义元数据用于多路径调度，给出了 QUIC 时代弱网对抗的新方向。
Cactus Engineering Blog评分3636 Needle 2：面向微型设备的 14 MB 智能体 LLM
Cactus 发布 Needle 2，一个 45M 参数的开源模型，用于工具调用、设备操作和结构化抽取，整个模型是单个 14MB 二进制文件，会话内存约 28MB。它在 Raspberry Pi 5 上解码达 500 tokens/sec，在 Meta Quest 3S、Apple Vision Pro 等 VR 设备上为 400–1,500 tokens/sec，并可运行于 ESP32-S3 等较新微控制器。模型采用 CQ2-bit 量化，从预训练到后训练全程针对 Cactus Quants 训练，并支持在 Mac/PC 上微调。
论文与标准精选评分5858 MultiMoQ 入选 ACM MM 2026：多接入 MoQ 瓦片流
论文面向 360° 沉浸式直播，基于 MoQ 重新设计多接入路径下的瓦片流投递机制，支持灵活的瓦片调度与无缝接入切换；原型在真实网络仿真中对比 DASH 与标准 MoQ，提升了增强瓦片与基础层的 goodput、降低增强瓦片尾部端到端延迟，并消除标准 MoQ 在带宽受限下的持续停滞。
推荐理由：MoQ 在高码率沉浸式视频上的系统性扩展，已被 ACM MM 2026 接收，代表学术侧的落地验证。
论文与标准精选评分6868 M3-DuplexBench：英日双语全双工对话评测基准
该基准联合评估全双工口语对话系统的交互时机（轮次切换、附和、打断）与响应内容，覆盖英语与日语的闲聊及多轮问答场景，并基于同源语料实现跨语言对比；实验揭示不同全双工模型具有模型特有的交互模式，语言与领域间存在明显性能差异。
推荐理由：全双工语音模型评测方向的代表性新基准，补足多轮、多语言受控对比的空白。
Cartesia Blog评分3838 TTS 模型好不好？为什么语音合成评测随模型进步而失效，以及如何衡量真正重要的指标
Cartesia 发文分析 TTS 评测为何随模型进步而失效：语音合成是一对多映射，同一文本可有兴奋、愤怒、悲伤、讽刺等多种正确读法，WER 在可懂度解决后趋于饱和，且受 ASR 质量牵制。评测还需覆盖上下文正确性、文本规范化与专有名词读音，这些错误即使语音流畅也难以察觉。
论文与标准精选评分6060 MoQ 时移客户端 ABR 评测：多 4 秒延迟可换 4 倍吞吐
论文在 Mininet 模拟拓扑中评估 MoQ SWITCH 式 ABR 对直播与时移播放的适配，验证标准 ABR 算法可直接用于时移播放并显著提高吞吐：订阅者重缓冲后可恢复更高吞吐，增加不到 4 秒的流延迟即可换来约 4 倍吞吐提升，开源了 MOQtail 扩展与测试框架。
推荐理由：直接回应 MoQ 工作组正在讨论的 ABR 切换语义，给 SWITCH 设计提供实证数据。
Cactus Engineering Blog精选评分6262 Cactus 开源 26M 参数函数调用模型 Needle：端侧预填充 6000 tok/s
Cactus 开源从 Gemini 蒸馏的 26M 参数函数调用模型 Needle，消费级设备上预填充 6000 tok/s、解码 1200 tok/s；核心观察是工具调用本质是检索与组装而非推理，因此采用纯注意力加门控结构、完全去掉 FFN。
推荐理由：端侧函数调用模型的代表性工作，结构取舍结论对端侧 AI 有普适启发。
论文与标准精选评分6666 论文 OCC：用物理层信息辅助 RTC 拥塞控制，尾延迟降低 13%-68%
针对 RTC 试错式带宽探测在蜂窝网络波动下迟缓失准的问题，OCC 直接读取物理层信息实时获取可用带宽，并通过帧级带宽测量、APP 限速感知估计与编码器友好码率控制三项策略适配 RTC 的流量突发与编码滞后特性；在开源蜂窝测试床的实网实验中，尾网络延迟降低 13%-68%，视频帧码率提升 1.2-3.5 倍。
推荐理由：把跨层信息引入实时拥塞控制的新思路，实验增益明确，代表 2026 年 RTC 传输研究的一个方向。
论文与标准精选评分6262 HumDial 全双工赛道：真人双声道数据集与 FDBench
论文基于 ICASSP 2026 HumDial 挑战赛全双工赛道，发布涵盖打断、语音重叠与反馈机制的真实真人双声道对话数据集，并构建评测系统在维持对话流的同时处理打断能力的 HumDial-FDBench 基准，配套公开排行榜以比较开源与商用全双工模型。
推荐理由：为全双工语音系统提供真实录音数据集与可复现评测框架，是该方向的重要基础设施。
论文与标准精选评分7474 论文 Camel：帧级带宽估计提升直播 1080P 占比 70.8%
北大与字节跳动团队发现反直觉现象：编码码率未用满带宽时卡顿仍频发，根因是实时编码的瞬时码率波动让包级拥塞控制误判可用带宽；Camel 改用帧级网络反馈估计真实容量，由带宽与时延估计器、拥塞检测器与突发长度控制器组成；在 2.5 亿用户、20 亿会话、150+ 国家的真实平台上线后，1080P 分辨率占比最多提升 70.8%，媒体码率提升 14.4%，卡顿率最多下降 14.1%；仿真中码率高 19.8%、卡顿率低 93.0%、带宽估计精度提升 23.9%。
推荐理由：从真实大规模平台发现问题并验证的拥塞控制研究，WWW 2026 收录，数据完整。
论文与标准精选评分6262 论文 TAROT：按段调优 FEC 冗余度，开销最多降 43%
针对静态 FEC 配置在丢包率与缓冲变化下要么浪费带宽要么保护不足的问题，TAROT 逐段选择冗余度、块大小与符号化参数，联合考虑传输层丢包/goodput、应用层缓冲动态与块级时序；支持 Reed-Solomon、RaptorQ 与 XOR 码，在低延迟直播与 VOD、多种网络轨迹与 ABR 算法下，FEC 开销最多降 43%，感知质量提升 10 VMAF。
推荐理由：用优化模型替代经验阈值的 FEC 调参方法，兼顾开销与画质的量化结果有工程参考价值。
Daily.co Blog精选评分6060 Daily 发布语音智能体 LLM 基准 aiwf_medium_context，测试长多轮工具调用与延迟
Daily 发布语音智能体基准 aiwf_medium_context，测试文本模式 LLM 与语音到语音模型在约 30 轮长对话中的工具调用、指令遵循和知识引用，源码已在 GitHub 开源。结果显示已有三个模型在该基准上各项指标达到 100%，但都太慢，无法满足语音智能体所需的 1500ms 以内语音到语音响应（约对应文本模型 700ms TTFT）；生产中最常用的仍是 GPT-4.1 和 Gemini 2.5 Flash，AWS Nova 2 Pro 在性能与延迟上与之持平。语音到语音模型中 Ultravox 0.7 表现突出，GPT Realtime 通过率为 86.7%，低于 GPT-4.1 的 94.9%。
推荐理由：Daily 公开语音智能体基准的源码与结果，可看到长多轮对话下模型能力与延迟之间的取舍。
Cartesia Blog精选评分5050 Cartesia 发布 H-Nets 分层网络研究，直接从原始数据学习
Cartesia 公布分层网络 H-Nets 研究，其动态分块机制把原始数据切分并压缩为更高层概念，由编码器、主网络和解码器三部分组成。在语言建模上，H-Nets 直接从原始字节学习，数据扩展性优于使用 BPE 分词的 Transformer，在中文、代码和 DNA 等无自然分词边界的领域提升更明显，并可堆叠学习更深层级，对大小写等输入扰动更稳健。团队已在 HuggingFace 发布 H-Net 2-stage XL、1-stage XL 和 1-stage L 检查点。
推荐理由：原文给出 H-Net 在语言建模上的三项结果与架构设计，可据此判断分层建模对多模态与长上下文的适用边界。
Cartesia Blog精选评分6262 Cartesia 提出 Based 架构：提示处理比 FlashAttention-2 快 56%，生成吞吐高 24 倍
Cartesia 发布论文与博客，提出循环架构 Based，用滑动窗口注意力（窗口 64）加线性注意力（对 exp(QK^T) 做二阶泰勒近似）组合，在信息抽取、阅读理解等召回密集型任务上平均比 Mamba 高 6.22 个准确率点。处理提示时 Based 比 FlashAttention-2 和 Mamba 分别快 56% 和 44%，文本生成吞吐最高达 FlashAttention-2 的 24 倍；但 Based 与 Mamba 仍不及最强 Transformer 基线。配套 IO 感知算法与检查点已在 Hugging Face 和 GitHub 仓库开源。
推荐理由：论文给出召回与显存之间的权衡分析，并说明 Based 如何用滑窗加线性注意力落到该曲线上。