模思智能完成超10亿元Pre-A轮融资，将发布MOSS Live实时交互模型
模思智能完成超10亿元Pre-A轮融资，由华控基金领投，国开科创、上海科创基金等参投，资金将用于全模态实时交互智能研发与全球商业化落地。该公司由上海创智学院与复旦大学联合孵化，2026年上半年已围绕语音、视觉和实时多模态连续发布20多个模型并持续开源，即将发布的MOSS Live由前端交互模型与后端能动性模型协同工作。
#AI 增强
东方财富精选评分3434
LiveKit Blog精选评分6262 LiveKit 推出 Agent Simulations，用模拟用户测试语音智能体
LiveKit 面向所有 LiveKit Cloud 项目正式推出 Agent Simulations，用 LLM 驱动的模拟用户按任务级场景跑完整对话，再由 LLM 评审给出通过或失败及原因。文本模拟跳过语音模型、只测对话逻辑，默认低优先级调度，可在每次 PR 上运行并在失败时返回非零退出码；音频模拟覆盖含背景噪声、打断和附和声的完整音频链路，实时运行且计费更高，适合夜间或发布前跑。CLI 可读取智能体代码自动生成场景，场景以 scenarios.yaml 版本化保存。该功能 10 月内免费，但模拟会调用真实智能体的 LLM 及音频模式下的 STT、TTS，按正常费率计费。
推荐理由：LiveKit 把语音智能体测试从逐轮对话提升到任务级模拟，并给出文本与音频两种运行方式的成本取舍。
webrtcHacks精选评分7474 实测：Chrome 新回声消除器把语音代理自问自答率降到 Edge 的五分之一
Chrome 新的 ML 残差回声估计器把语音代理的单词错误率减半，也减少了代理应答自己问候语的情况。作者用 Hugging Face speech-to-speech 搭建语音代理，在相同房间、麦克风和服务器下交替使用 Edge 与 Chrome 各跑一百多次：回声被 STT 当成用户语音的比例为 Edge 21%、Chrome 4%，失败都发生在会话开始后 1.0 到 2.2 秒之间。dump 显示问候语第一段被抑制 51 到 58 dB，约一秒后的第二段却以高于播放 7 到 13 dB 的电平上行，增益控制器在此期间把自适应数字增益从 15 dB 调高，放大了漏出的回声。作者还指出 min_speech_ms 从 500 ms 降到 384 ms 后，三次失败落在 384 到 500 ms 之间，而 smart-turn-v3 以 0.954 的置信度判定回声已说完，说明问题出在流水线看不到的浏览器组件。
推荐理由：作者用 AEC dump 对比 Chrome 与 Edge 的语音代理自问自答率，并给出 VAD 阈值取舍的实测依据。
声网博客精选评分6060 微软发布三款语音模型，流式识别与合成延迟进入百毫秒区间
微软于2026年10月1日发布三款语音模型：流式语音识别MAI-Transcribe-2-Streaming、语音合成MAI-Voice-2.1和MAI-Voice-2.1-Flash。MAI-Transcribe-2-Streaming在用户开始说话后约100毫秒给出首个部分转写结果，代价是模型无法回看整句上下文，易混淆词和被打断场景的出错概率更高；MAI-Voice-2.1-Flash端到端延迟150毫秒，推理速度比上一代提升55%，成本降低约60%，分块生成可能影响语调连贯性。文章还提到ElevenLabs v4 Turbo推理延迟也在100毫秒量级，并指出流式传输下连续小片段丢包会带来明显卡顿。
推荐理由：微软三款语音模型把流式识别与合成延迟压到百毫秒级，可对照理解分块生成在准确率与语调连贯性上的取舍。
Hume AI Blog精选评分5858 Hume 拆解表情测量模型：面部与语音情绪信号如何变成可评测的结构化分数
Hume AI 的技术长文，介绍其 Expression API 背后的面部与语音表情测量模型的科学依据、研发过程与评测方法：把语气、迟疑、惊讶等信号转为结构化分数，用于数据标注、AI 输出评估与跨录音比较，并跟踪交互过程中情绪随时间的变化。
推荐理由：少见地把情绪测量模型的构建与评测方法完整公开，对情感计算与语音 Agent 评测有方法论价值。
Hume AI Blog精选评分6565 Hume AI 发布 Expression APIs：把语音与面部表情转为结构化感知分数
Hume AI 推出 Expression APIs，将声音与面部表情转化为结构化分数，估计他人对该表达的可能感知，语音侧还额外度量说话风格与嗓音特质；支持实时交互与离线录音分析标注两种模式。典型场景是让语音 Agent 识别客户语气中的挫败感——转写文字相同而情绪不同的情况。
推荐理由：把情绪信号做成可调用的结构化 API，补上语音 Agent 与情感计算管线里转写之外的关键一环。
webrtcHacks精选评分8080 Chrome 静默上线神经回声消除器，实测回声抑制提升 5.4 dB
Google Chrome 桌面版在用户不知情的情况下下载了一个 425 KB 的 TFLite 模型，接管 AEC3 中残差回声估计部分，默认开启且无开关，仅 Chrome 可用，Edge、Electron、Firefox 和 Safari 都拿不到。作者用 Microsoft AEC Challenge 合成语料的约 500 个文件跑 audioproc_f 对比，远端单讲帧的中位回声抑制从 19.8 dB 升到 27.0 dB，每文件中位提升 5.4 dB，80% 文件更好，双讲时近端电平基本不变（中位 +0.04 dB）。在 125 个文件上用 Whisper small.en 测试语音代理场景，中位词错率从 0.500 降到 0.235。
推荐理由：作者用 AEC Challenge 语料实测 Chrome 神经回声消除器，给出回声抑制与语音识别词错率的对照结果。
Boson AI Blog精选评分5555 Boson Higgs VoiceOver 登陆 Premiere Pro：Higgs TTS 3 驱动的可导挥 AI 配音与词级字幕
继 DaVinci Resolve Studio 之后，Higgs VoiceOver 插件现已支持 macOS 上的 Adobe Premiere Pro：每句旁白由 Higgs TTS 3 生成并作为独立剪辑落入时间线，可按行导演情绪、风格与语速，生成词级时间对齐字幕，并用约 10 秒自己的音频构建 100+ 语言的定制音色；使用自己的 Boson API key，按用量计费，Final Cut Pro 版本在开发中。
推荐理由：AI 配音进入主流专业剪辑软件时间线，把 TTS 能力落到视频生产工作流，实用面较广但属常规产品扩展。
Tavus Blog精选评分7474 Tavus 用状态空间模型解析 Phoenix-4.5：毫秒级实时情感与面部行为生成
Phoenix-4.5 是首个将情感状态生成、主动倾听行为与连续面部动作统一为单一系统的实时模型，文章以代码讲解其状态空间建模实现，覆盖毫秒级延迟的上下文感知表情与头部动作。
推荐理由：实时数字人行为生成的技术深度文，披露模型架构思路与延迟水平。
ElevenLabs Blog精选评分6767 ElevenLabs 发布 Eleven v4 与低延迟版 Eleven v4 Turbo 语音模型
ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo，称 Eleven v4 在 Artificial Analysis 排名第一，并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景，中位推理延迟约 100ms，中位首次发声时间约 150ms，与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言，Instant Voice Clones 用 10 秒音频即可克隆，并新增 Professional Voice Clones 支持，现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。
推荐理由：官方给出两款新模型的延迟、盲测偏好与克隆门槛，可据此判断语音代理和配音场景是否值得迁移。
Pipecat Releases精选评分6262 Pipecat v1.12.0 发布：新增分类器与 MOQ 客户端重连，TTS 支持 IPA 发音映射
Pipecat 发布 v1.12.0，新增 Pipecat Classifiers，可通过 JevClassifier 或 LLMClassifier 对状态提出是/否、选择与评分问题，并新增 TTSService.pronunciation_transform_ipa() 用词到 IPA 的映射控制专有名词发音。MOQTransport 增加客户端模式重连，断线后按退避重拨，MOQParams.connection_timeout 默认由 30 s 改为 60 s；同时弃用 UninterruptibleFrame、BaseUIWorker 等接口，将在 2.0.0 移除。
推荐理由：版本说明覆盖分类器、MOQ 重连与语音合成发音等多项能力变化，并列出弃用与移除项，便于评估升级影响。
Boson AI Blog精选评分5858 Boson AI 发布 Higgs VoiceOver：在 DaVinci Resolve 和 Premiere Pro 内生成 AI 配音
Boson AI 发布 Higgs VoiceOver 插件，把 AI 配音放进视频剪辑器，由 Higgs TTS 3 驱动，每句旁白生成独立片段并自动排到时间线的配音轨上。它支持用标签控制情绪、语速和音效，自动生成词级时间轴字幕，用约十秒音频克隆自定义声音，覆盖 100 多种语言且同一句内可切换语言。该插件已在 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro 上线，Final Cut Pro 与 Windows 版本在开发中，使用自带 Boson API key 按量计费，价格为每千字符 0.015 美元。
推荐理由：面向剪辑工作流的 AI 配音插件，说明它如何把配音、字幕和声音克隆放进时间线，以及按量计费的成本口径。
Tavus Blog精选评分6666 Tavus 发布 Phoenix-4.5：实时数字人从全脸生成迈向全身动作与对话表现力
Tavus 推出 Phoenix 系列实时数字人模型的 4.5 版本，官方定位为三年来在自然度上最大的一次跨越：在 Phoenix-4 情绪可控、主动聆听与连续面部动作的基础上，把生成范围从嘴部、面部扩展到肩部姿态、头部节奏等身体语言。文章为研究与技术综述，说明该版本对实时对话中临场感（presence）的改进。
推荐理由：实时数字人方向的旗舰产品迭代，直接关系到 Conversational Video Interface 的对话自然度。
Cactus Engineering Blog精选评分5050 Cactus 详解 Needle 的 .cact 单文件格式与 2.125 比特量化
Cactus 介绍其端侧模型 Needle 使用的 .cact 单文件格式：196 字节头部携带全部架构几何信息，无名张量目录按前向顺序排列，权重以 128 个一组做 Hadamard 旋转后按 Lloyd-Max 码本量化，CQ2 下每权重 2.125 比特。内核直接读取打包索引做查表与 sdot 累加，不展开权重，20 层 needle3.cact 为 29 MB、581 个张量。文中还给出用 struct 解析头部与目录的二十行 Python 代码，并说明同一容器可承载语音模型 Whistle。
推荐理由：原文拆解了 .cact 单文件格式的头部、目录与分组量化设计，并给出二十行解析代码，可迁移到自研端侧模型加载器。
Hume AI Blog精选评分6262 Hume 发布语音可控性排行榜，评测 17 个 TTS 模型
Hume 发布 Voice Controllability Leaderboard，从语音设计、语音指令和角色契合三个维度评测 17 个 TTS 模型，采用数万条人工评分而非 LLM 评委，理由是后者可能因数据泄漏抬高分数。结果显示没有单一模型在所有可控性维度领先：Google 与 ElevenLabs 总体领先但各有短板，开源模型在语音设计上仍有竞争力；性别平均准确率 97.87%，年龄仅 51.8%，讽刺是最难传达的语气。
推荐理由：榜单用数万条人工评分对比 17 个语音模型的可控性，并指出 LLM 评委可能因数据泄漏抬高分数。
Cactus Engineering Blog精选评分5858 Cactus 受控实验：删掉 FFN 后 Transformer 只损失 0.006 nats
在控制参数量、算力与深度后测量删除前馈网络的损失：匹配参数下仅 0.006 nats，且集中在无外部信息可查的 token 上；该结论支撑 Needle 2/3 的纯注意力架构，完整研究为 A Controlled Study of Attention-Only Transformers。
推荐理由：对 transformer 架构常识的反直觉实证，方法论干净。
Cactus Engineering Blog精选评分5858 Needle 3 智能阶梯：一套权重从 2 到 20 层任意深度皆可部署
Needle 3 训练为任意 2-20 层深度都是可部署模型，共享同一残差流，按设备内存预算选择深度而无需为每个尺寸单独训练；文中解释子网络选择、免多轮训练的方法及各深度得分。
推荐理由：一套权重覆盖多种端侧内存预算的工程思路，可跟踪性强。
海外技术动态精选评分7070 Bitmovin 第 10 期开发者报告：98% 视频团队已用 AI，低延迟首超成本成头号挑战，MoQ 意向 28% 而生产使用仅 2%
基于 94 国 486 名从业者的调查：直播低延迟（36%）首次超过成本控制（35%）成为最大挑战；AVOD 以 69% 领跑变现、FAST（54%）追平 SVOD；QoE 数据虽普遍采集但仅 9% 团队能在 1 小时内定位根因；MoQ 有 28% 的 12 个月使用计划而生产使用率仅 2%，核心传输草案已到第 19 版、目标 2026 年 12 月提交 IESG。
推荐理由：十年期行业调查的数据型趋势观察，量化了 AI、广告与低延迟三条主线的真实落地差距。
Hume AI Blog精选评分6262 Hume 发布语音复刻排行榜，评测 11 个 TTS 模型的克隆效果
Hume 发布 Voice Replication Leaderboard，作为 Real World VoiceEQ Benchmark 的新组件，用 25 条参考语音和 7 条提示词评测 11 个 TTS 模型的语音复刻能力，评分维度包括同一说话人、音质、自然度和 TitaNet 说话人嵌入余弦相似度。结果显示没有模型在所有维度领先：Cartesia sonic-3.6-beta 自然度最高（4.36）但同一说话人仅排第八（3.63），OpenBMB VoxCPM2 同一说话人第一（4.21）而自然度第五（3.96）；音质分数集中在 3.85 至 4.61，同一说话人分数跨度更大，为 2.91 至 4.21。
推荐理由：榜单把说话人相似度、自然度、音质和客观相似度分开评测，并给出按口音与情绪拆分的对比，可供选型时参考。
Netflix Technology Blog精选评分7171 Netflix 详解 MAPS：用多模态嵌入做大规模素材个性化
Netflix 介绍 MAPS 多模态素材个性化系统，把 CLIP 图像嵌入与素材 ID 嵌入拼接，让模型在素材刚上线、几乎没有交互数据时就能个性化推荐。该做法把五个画布各自的模型合并为一个，在数据最少的 short-panel 与 landscape-panel 画布上收益最大；消融实验中只有图像嵌入与统一模型同时使用（V3）才在至少四周的线上 A/B 测试中取得显著提升，short-panel 离线 IPS 提升 5.691%。视频预览方面，融合视觉、音频与文本的 MediaFM 在五周 A/B 测试中优于仅用视觉的 SeqCLIP 和纯 ID 基线，已成为默认视频预览嵌入。
推荐理由：Netflix 用 CLIP 与 MediaFM 多模态嵌入解决素材冷启动，并给出离线 IPS 与线性探针的评估取舍。