LiveKit Agents 发布 2.0.0b1 版本
LiveKit Agents 发布 2.0.0b1 版本，对应提交 9946b6d，由 github-actions[bot] 协作完成。该提交在 GitHub 上创建并带有已验证签名，随版本附带 2 个资源文件。
#语音 Agent
LiveKit Agents Releases评分2222 ElevenLabs Blog评分2222 JavaScript 语音识别教程：用 Web Speech API 构建语音交互
用浏览器原生 Web Speech API 可在 JavaScript 中实现实时语音转写，无需自建本地识别服务器，音频由浏览器发往后端云服务处理。该 API 通过 SpeechRecognition 接口支持连续识别、临时与最终转写结果，但存在转写不一致、依赖浏览器、无法理解意图等限制，且准确率与延迟因浏览器而异。
腾讯新闻评分2222 苹果新一代 Apple TV 4K 被曝内置麦克风，Siri Remote 遥控器将配扬声器
苹果新一代 Apple TV 4K 被曝将内置麦克风，用户可直接说 Siri 交互，现款仅在 Siri Remote 遥控器上带麦克风。重新设计的 Siri Remote 将内置扬声器，便于找回掉落的遥控器。新款 HomePod mini 预计搭载 S10 芯片，两款产品均计划 10 月 30 日发售。
TechCrunch评分2222 前Plaud高管创办Ambi，融资2600万美元做常驻后台的AI应用
前Plaud高管Peter Mo创办的Ambi完成2600万美元多轮融资，由Luminous Ventures和华勤领投，并推出iPhone、Mac和Apple Watch应用。该应用可全天候监听用户，在会议中主动给出建议，并支持跨设备续接任务。环境采集默认关闭、用户可随时关闭，但告知他人的责任仍在用户，公司称不存储录音并加密数据。
Art of Smart评分6060 Google DeepMind 演示 Gemini 实时语音代理与实时翻译模型
Google DeepMind 的 Thor Schaeff 介绍 Gemini API 的实时语音代理能力，包括低延迟、带音频标签的 TTS 模型，以及支持约 90 种语言、可自动检测说话语言并翻译成听者偏好语言的实时翻译模型。他还演示了面向实时对话代理的 Gemini 3.1 Flash Live，其底层 Live API 是低延迟 WebSocket 接口，支持流式文本、音频和视频，具备原生音频理解、打断处理、工具调用和音频转写能力，并提到与 LifeKit、PipeKit 的合作。开发者可通过 Google AI Studio 的 ai.studio/live 和 ai.dev/live 体验。
腾讯新闻评分2727 上海大模型公司模思智能完成超10亿元Pre-A轮融资，将推全模态实时交互系统MOSS Live
上海大模型公司模思智能（MOSI）宣布完成超10亿元Pre-A轮融资，由华控基金领投，资金将用于全模态实时交互智能研发与全球商业化落地。该公司孵化于复旦大学邱锡鹏团队的OpenMOSS团队，今年已发布20多个模型，即将推出采用前后端模型协同架构的MOSS Live系统，面向AI眼镜、智能汽车及机器人等场景。
东方财富精选评分3434 模思智能完成超10亿元Pre-A轮融资，将发布MOSS Live实时交互模型
模思智能完成超10亿元Pre-A轮融资，由华控基金领投，国开科创、上海科创基金等参投，资金将用于全模态实时交互智能研发与全球商业化落地。该公司由上海创智学院与复旦大学联合孵化，2026年上半年已围绕语音、视觉和实时多模态连续发布20多个模型并持续开源，即将发布的MOSS Live由前端交互模型与后端能动性模型协同工作。
网易新闻评分2323 复旦教授邱锡鹏创办的模思智能再融10亿元，将发布MOSS Live系统
模思智能完成超10亿元Pre-A轮融资，由华控基金领投，资金将用于全模态实时交互智能研发与全球商业化落地。该公司2024年底孵化于邱锡鹏带领的OpenMOSS团队，聚焦语音、视觉及实时多模态交互，即将发布MOSS Live系统，通过前端交互模型与后端能动性模型协同实现实时交流、复杂推理和任务执行。
网易新闻评分2424 模思智能完成超10亿元Pre-A轮融资，将推进全模态实时交互智能研发
模思智能完成超10亿元Pre-A轮融资，由华控基金领投，国开科创、上海科创基金、新微资本等参投，元禾控股等老股东持续投资。资金将用于推进全模态实时交互智能的研发与能力建设，以及全球商业化落地。该公司由复旦大学教授邱锡鹏创立，计划推出实时交互系统MOSS Live。
MarkTechPost评分4242 TII 发布 Falcon-ASR：1.6B 阿拉伯语语音模型，平均 WER 20.92%
阿布扎比 TII 发布 1.6B 参数的阿拉伯语语音识别模型 Falcon-ASR，在 6 个阿拉伯语测试集上平均 WER 为 20.92%，比 Audar-ASR-V1-Turbo 的 23.17% 低 2.25 个百分点，在 TII 自建阿联酋方言测试集上比 30B 的 Qwen3-Omni 低 4.07 个百分点。该模型一套权重覆盖阿拉伯语（含阿联酋方言）、英语、法语、西班牙语和葡萄牙语，并输出词级时间戳，但目前仅提供 Hugging Face 演示（限 60 秒、20 MB），未公开权重、许可证和 API，所有成绩均为 TII 自评。
MarkTechPost评分2626 2026 年 12 款 AI 实时翻译工具盘点：延迟、语言与定价
MarkTechPost 对照官方产品、定价与文档页面，盘点了 12 款 AI 实时翻译工具，覆盖消费级应用、会议插件、活动平台和开发者 API。Palabra.ai 宣称延迟低于 1 秒，API 语音到语音每分钟 0.04 美元；Google Gemini 3.5 Live Translate 支持 70+ 种语言，Apple Live Translation 完全在设备端运行。各工具语言数量口径不一，需按自身语言对实测。
arXiv eess.AS评分3737 BELLE：可学习多位教师的贝叶斯语音合成器
针对 TTS 一对多问题，BELLE 在 MELLE 等连续值自回归 TTS 架构上为每帧 mel 频谱的均值和方差引入贝叶斯先验并由输入预测，同时保持单次采样。由于估计方差需同一文本的多条录音，作者构建了真实录音 ParallelVox 与在 LibriSpeech 上加入六个预训练 TTS 教师语音的 LS+6TTS。相同训练条件下 BELLE 优于 MELLE，并支持流式生成。
arXiv eess.AS评分3131 SENSE：通过空间图编码从脑电动力学实现语义神经语音合成
研究者提出 SENSE（Semantic-EEG Neural Speech SynthEsis），用基于电极几何的图编码器结合 EEG 语义条件（ESC），将 EEG 对齐到预训练语义空间，从非侵入式脑信号合成语音。在 N400 数据集上，SENSE 在声学与语义指标上均优于此前方法；仅用两名受试者训练，其词错误率已超过用全部十八名受试者训练的最强基线。
arXiv eess.AS评分3535 通过 Adapter 唤醒编码器：Speech-LLM 的领域自适应微调方法 EAVA
针对 Speech-LLM 在儿童或方言等域偏移语音上适应不足的问题，研究者提出领域自适应微调方法 EAVA：先在各编码器层插入轻量 Adapter 单独训练，再结合 LLM 上的 LoRA 联合微调全模型。在三个域偏移 ASR 数据集上，EAVA 持续优于常规微调及其他基线，取得新的最优性能。
arXiv eess.AS评分4242 重新思考 LLM-based ASR 中的熵分配：理解语音编码器与 LLM 之间的动态关系
研究从熵分配视角重新审视 LLM-based ASR，提出三项指标刻画训练范式如何在语音编码器与 LLM 之间分配熵减，并据此设计基于能力边界感知的多阶段训练策略。该方法重新设计预训练以缓解语音-文本模态差距，并在对齐与联合 SFT 之间引入迭代异步 SFT 阶段以保持功能解耦、抑制编码器表征漂移。在普通话和英语基准上，仅用 2.3B 参数即达到与 SOTA 模型相当的性能，并有效缓解幻觉。
arXiv eess.AS评分3131 利用 TTS 与语音转换增强语音识别：呼叫中心银行领域 ASR 合成数据评测
针对呼叫中心银行领域 ASR 训练数据不足的问题，研究对比了 TTS 与 KNNVC、Seed-VC、Vec2Wav2 等语音转换方法，以 WER 和 CER 为指标评估合成数据对识别性能的影响。结果显示语音质量和 ASR 准确率均有显著提升，其中 Seed-VC 表现尤为突出，表明语音转换技术可有效增强 ASR 系统。
arXiv eess.AS评分4444 EAGLE-ASR：基于 EAGLE 风格投机解码的 ASR 无损推理加速
EAGLE-ASR 通过 EAGLE 风格投机解码加速 ASR 推理，同时严格保持无损输出质量。其 Speech-Draft 轻量自回归模块联合利用编码器声学特征与目标 ASR 模型的分层解码器表示，配合多步生成策略和自蒸馏数据训练。在 Whisper 与 Conformer AED 模型上分别实现最高 1.9 倍和 2.4 倍无损加速，并泛化至多语言 ASR 与语音翻译任务。
arXiv eess.AS评分3636 LATTE：面向音频 LLM 的音韵感知说话人提取前端
研究者提出轻量前端 LATTE（5.2M 参数），通过声学难度估计器、任务自适应音韵先验和自适应 Hourglass 提取器，在推理时无需语言标识即可为每个混合语音分配计算量。在 PolyExtract 上，LATTE 以 0.30 GFLOPs 达到 15.07 dB 的 macro SI-SNRi，性能与 0.53 GFLOPs 固定深度模型相差 0.09 dB 以内，同时计算量减少 43.4%，并将平均 WER 从 TF-GridNet 的 16.8% 降至 14.6%。
arXiv eess.AS评分6060 Oído：在 5 美元 ESP32-S3 微控制器上运行开放词表语音识别
论文提出 Oído 推理引擎，在无神经网络加速器的 ESP32-S3（240 MHz 双核 Xtensa LX7、512 KB SRAM、8 MB PSRAM、16 MB flash）上运行开放词表英语语音识别，执行 13M 参数 Conformer-CTC 模型，采用 int8 权重、逐帧动态 int8 激活和 int8 注意力。在 LibriSpeech test-clean/test-other 上端侧算术达到 3.70%/8.23% WER，与全精度相差 0.12 个百分点；加片上 1.3M 参数语言模型后为 3.33%/7.15%，transducer 头为 2.99%/6.67%，int4 变体占用 8.3 MB。实测固件单核运行耗时为音频时长的 1.97 倍，尚不能实时，双核调度在芯片上结果错误已禁用；流式变体在 3.6-10.6 s 片段上于结束后 4.1-11.1 s 输出最终文本，WER 为 4.86%/11.03%。代码与模型已发布。
arXiv eess.AS评分3131 OpenPA：无需强制对齐的多粒度发音评估框架，支持混合转写自适应
OpenPA 是一种无需强制对齐的自动发音评估框架，利用 Whisper 的交叉注意力机制同时预测词级和语句级发音得分。它通过混合转写自适应与自适应替换加权，在单一模型中兼容封闭与开放回答场景的异构转写，仅用 speechocean762 训练即在域内封闭和模拟开放条件下取得最优整体表现，并在 MultiPA 上保持零样本性能。
arXiv eess.AS评分2525 重新审视基于 DistilHuBERT 的口音分类：说话人分离评估与跨语料库泛化
一项基于 DistilHuBERT 的口音分类研究显示，文件级划分会显著高估模型性能，说话人分离评估才能更真实反映对未见说话人的泛化能力。研究使用 L2-ARCTIC 及多个外部英语口音数据集对比发现，仅用外部数据训练的模型无法可靠泛化到 L2-ARCTIC，均衡外部数据训练在监督设置中表现最好，而仅靠置信度过滤的伪标签在域不匹配下效果不足。
arXiv eess.AS评分2727 金融语音需要持续学习正则化吗？EWC 与 mini-KFAC 在财报电话会议 ASR 上的研究
将 Whisper-small 从通用语音语料适配到 Earnings22 基准时，所有评估方法在同域金融语音上均出现性能提升而非遗忘，任务互补性使正则化反而有害。若确需正则化，逐层 mini-KFAC 近似比标准对角 EWC 取得更低 WER 和更稳定的优化。研究建议先评估任务互补性再施加持续学习约束，必要时优先选用 mini-KFAC EWC。
arXiv eess.AS评分2929 面向 SLT2026 SmartGlasses Challenge 的前端辅助大型音频语言模型
针对 SmartGlasses Challenge 赛道一的时间戳说话人归属 ASR 任务，参赛系统采用多模态大语言模型 SoulX-Transcriber，直接输入全长音频并生成结构化转写。为应对双人对话中的重叠语音、背景噪声和远场条件，引入基于规则的引导式源分离与数据驱动语音分离两种前端处理，均在验证集上带来提升。考虑推理稳定性，最终提交使用微调后的 SoulX-Transcriber，测试集 tcpCER 为 6.22。
arXiv eess.AS评分4040 E3-System：可显式控制、易用的表达性零样本 TTS 框架
E3-System 是一个面向表达性零样本 TTS 的意图到语音统一框架，可在给定目标说话人和自然语言风格描述或语音风格提示时，生成保留目标音色的表达性语音。它通过千小时多语言情感语音数据集 EmoData、将文本描述对齐为声学风格提示的 Style-RAG，以及借助 VC 增强音色-风格解耦的 Dual-TTS，打通从风格建模到可控合成的完整控制闭环。实验显示其在语音质量、说话人保持和显式表达控制上表现良好。
Cartesia Blog评分2222 Raise Financial Services 与 Cartesia 合作，为印度金融市场打造多语言语音 AI
Raise Financial Services 正基于 Cartesia 的语音模型开发多语言语音体验，其 Dhan 语音机器人已有超 75% 的交互使用非英语语言，其中印地语占一半以上。Cartesia 的 Sonic 文本转语音模型支持印地语、泰米尔语、泰卢固语、马拉地语等 11 种印度语言，并可在单次生成中切换语言。Raise 将模型部署在自有基础设施内，超三分之一语音机器人来电在非工作时间由 AI 独立处理。
Boson AI Blog评分4040 Boson AI 联合多伦多大学 MScAC 举办 2026 Higgs Audio Hackathon（10 月 23–24 日）
Boson AI 与多伦多大学应用计算硕士（MScAC）项目将于 2026 年 10 月 23–24 日在多伦多举办第二届 Higgs Audio Hackathon，设数字人体验、语音交互等三个评审方向，CEO Alex Smola 及团队成员到场。活动面向所有人开放，不限校内。
whisper.cpp Releases评分2222 whisper.cpp v1.9.5 维护版本发布，同步升级 ggml v0.26.0
whisper.cpp 发布 v1.9.5 维护版本，同步将 ggml 升级至 v0.26.0，nightly 构建号为 b5454。此次更新以 ggml 后端修复与优化为主，涵盖 CUDA、Vulkan、Metal、WebGPU、SYCL、Hexagon 等平台的 Flash Attention、量化与矩阵乘内核改进，并修复多处内存越界与溢出问题。
whisper.cpp Releases评分2222 whisper.cpp 发布 b5454 预发布版，版本号升至 1.9.5
whisper.cpp 发布预发布版 b5454，将版本号提升至 1.9.5，对应提交 d1be6fd 已在 GitHub 上通过签名验证。该版本由 #4102 号改动完成版本号更新，目前以预发布形式提供。
海外技术动态精选评分6464 Sesame 更新 CSM 语音模型，四位语音助手全量开放
Sesame 面向所有用户开放 iOS/Android 语音助手 App，底层更新 Conversational Speech Model 以提升表现力与发音，尤其在长对话中差异明显；四位角色（Maya、Miles、Simone、Charlie）各带独立记忆与权限，新增自有计算机执行长任务、Google 应用与自定义 MCP 连接器，并降低谄媚与重复话术，为 2027 年眼镜硬件铺路。
推荐理由：语音临场感路线的代表厂商从预览走向全量，展示了语音 Agent 与个人硬件结合的产品形态。
Tavus Blog评分2222 不显人工的 AI：PAL 如何改变一切
Tavus 提出 Personified Application Layer（PAL），把感知、共情与记忆打包成可面对面交谈的应用，并给出 Tavus Turing Test 分级：Stage 0 只有渲染的脸和声音，Stage 0.5 具备人格但上下文限于单次会话，Stage 1 才是能跨交互记忆、推理并主动行动的持久 PAL。Tavus 称该测试是面向 PAL 团队的设计成熟度模型，并非经外部验证的基准。
Boson AI Blog评分2222 对话 Vincent Wargnier：用 Compass 语音智能体赢得 Higgs Realtime 黑客松
Vincent Wargnier 与 Nayl Ahmadulin 在赛前五天组队，凭 Compass 拿下 Boson AI 的 Higgs Realtime 黑客松第一名。Compass 是能在后台搜索、推理并执行建站等重任务的同时保持自然对话的语音智能体，不会因工具运行而沉默，而是继续提问、吸收中间结果。Wargnier 认为现有语音智能体在长任务中要么静默、要么只给无用状态提示，这正是其想解决的问题。
Boson AI Blog评分4848 Higgs TTS 3 在 Hume 语音复刻榜单位列第四，口音参考音得分最高
Boson AI 的 Higgs TTS 3 在 Hume AI 语音复刻榜单中位列 11 个模型第四，口音参考音得分 4.28 为全场最高，略高于 VoxCPM2，并领先 Fish Audio S2 Pro、ElevenLabs v3 和 ElevenLabs Multilingual v2。该评测由三名人工评分者在不知模型来源的情况下按 1 至 5 分打分，测试集含 25 个参考音，其中 15 个带不同口音、9 个来自非英语母语者。Higgs TTS 3 的 Same Speaker 得分为 3.83，客观相似度 0.74 并列第三，音质 4.38 与最高分相差 0.23。该模型为开放权重，已在 Hugging Face 上线，上月下载量接近 10 万次，并可通过 Higgs TTS API 使用。
Tavus Blog评分1515 如何用 Tavus PALs 构建能实时回答买家问题的 AI 产品演示
Tavus 用 Personified Application Layers（PALs）构建实时 AI 产品演示，让 AI 数字人在直播演示中即时回答买家的定价、集成与安全问题，并当场预约会议。其 Phoenix-4.5 面部行为引擎支持 10+ 种可控情绪状态，Raven-1 多模态感知以低于 100ms 延迟融合语气与表情，Sparrow-2 在 TurnBench 公开开发集上达到 92.4% 轮次结束召回率。
Tavus Blog评分1515 最佳 AI 客服软件对比：Tavus、Anam、UneeQ 等八大平台横评
Tavus 在八款 AI 客服平台横评中位列第一，其 Conversational Video Interface 通过托管 WebRTC 连接实现低于 200ms 的响应延迟，Sparrow-2 模型在 81% 的轮次结束点达到人类典型应答时机。Anam 以单张照片生成数字人并公布低于 1 秒的中位对话延迟，UneeQ 则面向受监管企业提供云、混合与本地部署。评测按渠道覆盖、知识 grounding、工单系统适配、定价与合规等维度排序。
Tavus Blog评分2222 如何用 2 分钟视频创建 AI 克隆：Tavus 详解录制、训练与实时 PAL 部署
Tavus 介绍用约 2 分钟视频训练 AI 克隆的完整流程：在 PAL Maker 中上传片段、选择训练路径并预览 Replica，录制需 1080p、25fps 以上，且包含至少 30 秒说话片段。实时 PAL 通过 Raven-1、Sparrow-2、Phoenix-4.5 等模型实现 40fps 1080p 面部渲染与约 30ms 知识库检索，并借助 Persistent Memory 跨会话记忆。
Tavus Blog评分4242 AI 语音机器人工作原理与下一步：Tavus 拆解 STT 到 TTS 管线并论实时视频演进
文章从语音识别到语音合成拆解 AI 语音机器人管线，并论证实时视频是企业会话式 AI 的下一形态。
Tavus Blog评分1212 实时 AI 反馈：视频智能体如何在对话中即时改进表现
Tavus 提出用实时视频智能体在对话进行中给出反馈，而非事后评分卡，可捕捉语气、节奏和犹豫等文字记录无法呈现的信号。其 PAL 在面试练习场景中已记录 120 万分钟以上练习时长，用户在与真人感面试官互动时停留时长增加 42%、完成会话数增加 35%。
Tavus Blog评分4545 Tavus 展望 2026 年销售 AI：视频智能体如何嵌入销售技术栈
文章梳理销售 AI 从文本、语音到视频的三层演进，认为视频智能体补上面对面时机感、感知与临场感，适合叠加进现有销售工具栈。
Inworld AI Blog精选评分7272 Inworld 收购 Ultravox：补齐语音理解与话轮管理，打通实时语音 Agent 全链路
Inworld 宣布收购实时语音 Agent 平台 Ultravox，其团队加入并继续维护平台；双方此前已有 TTS 合作。Ultravox 带来语音理解、推理与任务执行以及话轮/打断管理能力，与 Inworld 的 Realtime TTS-2、Realtime STT-1 及实时推理基础设施整合，首个整合改进已上线。
推荐理由：语音 Agent 赛道少见的端到端并购，理解侧与生成侧头部团队合并，行业格局信号明确。
Hume AI Blog评分3636 评估 Google 多说话人 TTS：为什么私有评测很重要
Hume AI 用自建评分标准独立评测了 5 个 Gemini TTS 模型的多说话人对话能力，Gemini 3.8 Flash 与 3.8 Flash-Lite 综合得分最高，分别为 4.11 和 4.10。情感控制是各模型最强项，达 4.26 至 4.31；说话人区分度最弱，五个模型中四个垫底，同性别组合尤其困难，男男配对平均仅 2.87。