Cactus 受控实验：删掉 FFN 后 Transformer 只损失 0.006 nats
在控制参数量、算力与深度后测量删除前馈网络的损失：匹配参数下仅 0.006 nats，且集中在无外部信息可查的 token 上；该结论支撑 Needle 2/3 的纯注意力架构，完整研究为 A Controlled Study of Attention-Only Transformers。
推荐理由：对 transformer 架构常识的反直觉实证，方法论干净。
#AI 增强
Cactus Engineering Blog精选评分5858 Cactus Engineering Blog精选评分5858 Needle 3 智能阶梯：一套权重从 2 到 20 层任意深度皆可部署
Needle 3 训练为任意 2-20 层深度都是可部署模型，共享同一残差流，按设备内存预算选择深度而无需为每个尺寸单独训练；文中解释子网络选择、免多轮训练的方法及各深度得分。
推荐理由：一套权重覆盖多种端侧内存预算的工程思路，可跟踪性强。
LiveKit Blog评分2020 LiveKit 推出创业扶持计划：提供约 2.3 万美元额度，覆盖推理与 LiveKit Cloud
LiveKit 推出 Startup Program，为符合条件的早期创业公司提供约 23,000 美元总价值额度，包括 7,000 美元推理额度（覆盖 7 家合作方）、10,000 美元 LiveKit Cloud 额度和一年 Scale 计划（原价 500 美元/月）。所有模型通过 LiveKit Inference 调用，无需单独账号或 API key，且默认启用零数据留存。申请者须员工少于 50 人、融资低于 500 万美元，并将语音、视频或物理 AI 作为产品核心。
声网博客评分1818 声网对话式AI引擎支撑Live Play Mobile的AI游戏主播：24小时直播与真人主播学习闭环
Live Play Mobile为其24小时宾果直播间加入AI游戏主播，将语言→语音→虚拟形象链路交给声网兄弟公司Agora的对话式AI引擎，游戏逻辑、玩家记忆与主播人设留在自有框架。团队围绕低延迟模型定制语音处理以维持长时间互动的表现力，AI负责24小时多语言运营并把有效话术反馈给真人主播。声网称其方案提供400毫秒平均全球延迟、99.99%正常运行时间，覆盖200多个国家和地区。
Hume AI Blog精选评分6262 Hume 发布语音复刻排行榜，评测 11 个 TTS 模型的克隆效果
Hume 发布 Voice Replication Leaderboard，作为 Real World VoiceEQ Benchmark 的新组件，用 25 条参考语音和 7 条提示词评测 11 个 TTS 模型的语音复刻能力，评分维度包括同一说话人、音质、自然度和 TitaNet 说话人嵌入余弦相似度。结果显示没有模型在所有维度领先：Cartesia sonic-3.6-beta 自然度最高（4.36）但同一说话人仅排第八（3.63），OpenBMB VoxCPM2 同一说话人第一（4.21）而自然度第五（3.96）；音质分数集中在 3.85 至 4.61，同一说话人分数跨度更大，为 2.91 至 4.21。
推荐理由：榜单把说话人相似度、自然度、音质和客观相似度分开评测，并给出按口音与情绪拆分的对比，可供选型时参考。
Meta AI Research Blog精选评分7474 Meta 发布 Muse Voice Transcribe 实时语音感知模型
Meta Superintelligence Labs 发布 Muse Voice Transcribe，一个实时音频感知模型，支持流式 ASR、20 人以上说话人分离和端点检测，原生处理 25 种以上语言并支持句内无缝语码转换。模型以 80ms 音频块（12.5 Hz）自回归处理，通过强化学习实现自适应延迟，在速度与准确率之间取得权衡；训练覆盖 70 多种语言，其中 25 种经过充分验证，并支持超过一小时的长音频输入。
推荐理由：Meta 公布实时语音感知模型的流式 ASR、说话人分离与端点检测设计，可了解自适应延迟的取舍思路。
Netflix Technology Blog精选评分7171 Netflix 详解 MAPS：用多模态嵌入做大规模素材个性化
Netflix 介绍 MAPS 多模态素材个性化系统，把 CLIP 图像嵌入与素材 ID 嵌入拼接，让模型在素材刚上线、几乎没有交互数据时就能个性化推荐。该做法把五个画布各自的模型合并为一个，在数据最少的 short-panel 与 landscape-panel 画布上收益最大；消融实验中只有图像嵌入与统一模型同时使用（V3）才在至少四周的线上 A/B 测试中取得显著提升，short-panel 离线 IPS 提升 5.691%。视频预览方面，融合视觉、音频与文本的 MediaFM 在五周 A/B 测试中优于仅用视觉的 SeqCLIP 和纯 ID 基线，已成为默认视频预览嵌入。
推荐理由：Netflix 用 CLIP 与 MediaFM 多模态嵌入解决素材冷启动，并给出离线 IPS 与线性探针的评估取舍。
Daily.co Blog精选评分6262 Pipecat 发布 PhoneLLM Alpha 1 语音智能体开源模型与 PhoneBench v1 基准
Pipecat 团队发布 PhoneLLM Alpha 1，一个面向语音智能体场景的开源权重模型，基于 NVIDIA Nemotron 3 Nano 30B-A3B 全参数微调，采用 MoE 架构、3.5B 激活参数，以 BSD 许可发布且无商用限制。官方称其表现与 GPT 5.6 Terra 相当，但成本低 94%、P95 首 token 时间快 1,300ms，单请求 TTFT P95 在 B200 上低于 100ms。同时发布 PhoneBench v1 基准，用 LLM 评审团评估电话智能体的说话风格、工具调用准确性与每分钟运行成本；权重已上线 HuggingFace，官方建议将 temperature 设为 0 并关闭 thinking。
推荐理由：原文给出模型规格、延迟与成本测算方式，读者可据此判断自托管语音智能体是否划算。
LiveKit Blog精选评分5252 LiveKit Agent Observability 推出 PII 脱敏功能
LiveKit 为 Agent Observability 新增 PII 脱敏功能，在录音和转写文本存入前自动移除姓名、地址、生日等敏感信息，对使用该功能的客户不额外收费。脱敏用 LLM 按上下文识别，转写文本中的词替换为标记，轨迹和日志中的敏感字段直接丢弃；由于词级 ASR 时间戳并非在所有 STT 模型上都可靠，音频改为删除整个轮次并以提示音替代。目前支持 10 组共 41 类 PII，需使用 LiveKit Agents SDK Python 或 Node.js 1.7.0 版本，数据保留 30 天后自动删除。
推荐理由：LiveKit 用 LLM 按上下文做 PII 脱敏，并说明音频整轮删除的取舍，可据此判断合规方案是否够用。
Meta AI Research Blog评分2828 Meta 发布 Muse Spark 1.2 多模态评测结果：视觉编码、机器人与音视频理解
Meta 公布 Muse Spark 1.2 的多模态评测结果与演示，该版本在模型可调用工具时多模态提升最明显，覆盖视觉编码、图表理解与知识密集型任务。视觉编码可将图像或视频转为可运行网页与游戏代码，机器人侧由高层规划模型配合基于小型 Muse 实验版本的 VLA 策略执行操作。Meta 同时预览内部评测 WildArtifactBench 并放出 10 个任务，Muse Spark 1.2 已在 Meta Model API 和 Muse Code 上线。
LiveKit Blog评分4040 LiveKit 如何处理零数据保留（ZDR）：全平台模型默认不保留、不训练
LiveKit 宣布其 Inference 中所有 LLM、STT、TTS 模型默认启用零数据保留（ZDR），适用于所有套餐，无需开关或升级配置。ZDR 要求不保留、不记录日志、不训练、不聚合，LiveKit 通过合同、账户或工作区配置及逐请求参数强制第三方提供商遵守，不达标者不予接入。Agent 可观测性数据保留 30 天，Egress 录制存入用户自有云存储，语音克隆样本在最后使用 12 个月后删除。
Cactus Engineering Blog评分5252 Needle 2 工具环境设计实践：6120 次运行总结函数调用可靠性规则
Cactus 在智能家居、客服、外勤、邮件、会议、费用审批六类环境共跑 6120 次测试，验证工具命名、描述、枚举、约束与重叠度对小模型函数调用的影响，形成一套环境设计规则。
LiveKit Blog精选评分6262 LiveKit Agents 推出 expressive mode，让语音智能体按对话情绪调整语气
LiveKit 在 LiveKit Agents 中发布 expressive mode，用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言，由框架统一转换，并会把多句合并成更大块再送入 TTS，以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型，前端可通过 lk.expression 属性获取情绪信号。
推荐理由：LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记，并给出开启方式与前端联动做法。
Cactus Engineering Blog评分3636 Needle 2：面向微型设备的 14 MB 智能体 LLM
Cactus 发布 Needle 2，一个 45M 参数的开源模型，用于工具调用、设备操作和结构化抽取，整个模型是单个 14MB 二进制文件，会话内存约 28MB。它在 Raspberry Pi 5 上解码达 500 tokens/sec，在 Meta Quest 3S、Apple Vision Pro 等 VR 设备上为 400–1,500 tokens/sec，并可运行于 ESP32-S3 等较新微控制器。模型采用 CQ2-bit 量化，从预训练到后训练全程针对 Cactus Quants 训练，并支持在 Mac/PC 上微调。
声网博客评分2222 智能硬件语音交互架构解析：麦克风、RTC、ASR、LLM、TTS 全链路
智能硬件语音交互的体验瓶颈往往不在 LLM，而在麦克风采集、回声消除、RTC 实时传输、流式 ASR、TTS 播放与打断控制等基础环节。文章拆解了从采集、前处理、实时传输到 ASR、LLM、TTS、播放与打断的完整链路，指出 RTC 是弱网下保持语音连续的关键通道，并建议量产前按真实场景验证麦克风、弱网重连、儿童语音与云端成本。
声网博客评分2222 旅游高峰期的 AI 语音助手：如何接住暴涨的咨询量
声网对话式 AI 引擎为旅游平台 AI 语音助手提供实时交互底座，端到端响应延迟可低至 650 ms，打断响应 340 ms，选择性注意力锁定可屏蔽 95% 的环境人声和噪声干扰。该引擎在 80% 丢包率下仍可维持语音对话，断网 3 至 5 秒时也能继续处理连接恢复后的交互，酒店政策、订单状态等业务数据仍由平台自有系统提供。
Tavus Blog精选评分6666 Tavus 发布 PAL Maker：让开发者自建实时视频 AI 数字人应用
Tavus 推出 PAL Maker，用户可创建具备看、听、记忆能力的 PAL（人格化应用层）并投入实际使用，由 CEO Hassaan Raza 宣布。
推荐理由：Tavus 产品线的关键发布，标志其从 CVI API 向终端应用层扩展。
Cartesia Blog评分3838 TTS 模型好不好？为什么语音合成评测随模型进步而失效，以及如何衡量真正重要的指标
Cartesia 发文分析 TTS 评测为何随模型进步而失效：语音合成是一对多映射，同一文本可有兴奋、愤怒、悲伤、讽刺等多种正确读法，WER 在可懂度解决后趋于饱和，且受 ASR 质量牵制。评测还需覆盖上下文正确性、文本规范化与专有名词读音，这些错误即使语音流畅也难以察觉。
Tavus Blog精选评分6161 Tavus 上线 Presentation Mode：PAL 接管幻灯片实时讲解与答疑
Tavus 推出 Presentation Mode，把演示文稿交给 PAL 实时讲解：既可从头讲到尾，也能在提问时调出对应页面，让团队常讲的内容随时可被启动。
推荐理由：PAL 应用形态的重要功能扩展，视频智能体开始承担知识交付。
LiveKit Blog评分3838 如何构建不会跑偏的语音 Agent：LiveKit 酒店前台示例的分层防护实践
LiveKit 以酒店前台参考 Agent 为例，讲解如何让语音 Agent 不脱离脚本：先用结构化提示词设定身份与护栏，再用确定性代码强制校验规则，如用 Python 做卡号长度与 Luhn 检查、用 max_tool_steps 限制工具调用链。文章强调提示词防护对蓄意攻击很弱，真正的规则必须在代码层执行。
Tavus Blog精选评分6262 Tavus 上线 Magic Canvas：PAL 对话中共享交互画布，图表与日历实时生成
Tavus 推出 Magic Canvas，为每次 PAL 对话提供共享交互画布：可即时调出按讨论数字动态绘制的图表、可选项的日历等组件，用户操作 PAL 实时可见并即时回应。
推荐理由：对话内交互组件是视频智能体从纯对话走向任务完成的关键功能。
声网博客评分3434 2026年7月值得一试的5个免费语音AI开发工具
声网博客整理了5个可直接上手的免费语音AI工具，覆盖TTS、ASR与端到端语音对话链路。Bosonai Higgs TTS 3以4B参数提供零样本声音克隆和100+语言支持，API免费限速且兼容OpenAI格式；HuggingFace开源语音栈由Parakeet、Gemma 4 31B和Qwen3TTS组成，已在超9000台Reachy Mini机器人上部署。其余为浏览器转录工具SoundWise、支持单词级编辑的开源TTS ViiTorVoice，以及研究导向的扩散式ASR模型。
声网博客评分3636 用 TEN Framework 搭实时语音 AI Agent：从零到跑通
声网开源的实时多模态对话 AI 框架 TEN Framework 把 STT、LLM、TTS、VAD、Turn Detection 等环节抽象为可插拔 Extension，用 Graph 定义数据流并并发调度，换模型只需改配置。其 Turn Detection 基于 Qwen2.5-7B 做语义级打断判断，支持中英文，传输层支持 RTC、WebSocket、SIP。按 Demo 流程配置 Agora、Deepgram、ElevenLabs、OpenAI 的 Key 后，约 20 分钟可跑通。
Daily.co Blog精选评分7474 NVIDIA 发布开源多语言语音识别模型 Nemotron 3.5 ASR
NVIDIA 发布多语言语音转文字模型 Nemotron 3.5 ASR，同时提供多语言版和仅英文版 Nemotron 3 ASR 检查点，完全开源、可微调并支持自托管。作者在 Pipecat stt-benchmark 中测得该多语言模型速度超过基准中其他模型且准确率尚可，仅英文版速度相当、准确率接近当前最高分模型。延迟可通过音频处理 chunk size 调节，在 NVIDIA L40S 上以最低延迟配置可安全承载约 96 路并发转写，作者估算企业自托管成本约 $0.05/小时，而主流转写 API 通常为 $0.10-$1.00/小时。
推荐理由：作者用开源基准给出 Nemotron 3.5 ASR 的延迟与准确率位置，并附自托管成本与并发配置，便于评估语音代理选型。
声网博客评分2828 2026年5月开源语音合成模型TTS推荐与测评：Higgs Audio V2、CosyVoice 2等六款横评
2026年5月开源TTS横评覆盖Higgs Audio V2、Kokoro-82M、VibeVoice-1.5B、CosyVoice 2、Fish Speech和F5-TTS六款模型，按音质、速度、中文能力与资源消耗对比。CosyVoice 2中文自然度MOS 4.7居首，Higgs Audio V2情感表达4.7最强，VibeVoice-1.5B单次可生成90分钟、4说话人长音频。Kokoro-82M仅82M参数、4GB VRAM即可运行，Fish Speech协议为CC BY-NC-SA不可商用。
Google AI Blog精选评分5656 Google 扩展 SynthID 与内容凭证的媒体溯源覆盖
Google 公布内容透明度工具进展：SynthID 不可见水印已用于 AI 生成的图像、视频与音频，累计标注超过 1000 亿张图像/视频与 6 万年时长的音频；C2PA Content Credentials 从 Pixel 10 相机扩展到 Pixel 8/9/10 的视频拍摄。SynthID 验证已在 Gemini App 使用 5000 万次，并扩展到 Search 与 Chrome 的“Is this made with AI?”查询；OpenAI、Kakao、ElevenLabs 将引入 SynthID，Google Cloud 上线 AI Content Detection API。
推荐理由：AI 生成媒体的水印与溯源正在成为音视频平台的合规基础设施，该更新给出规模化数据。
Cactus Engineering Blog精选评分6262 Cactus 开源 26M 参数函数调用模型 Needle：端侧预填充 6000 tok/s
Cactus 开源从 Gemini 蒸馏的 26M 参数函数调用模型 Needle，消费级设备上预填充 6000 tok/s、解码 1200 tok/s；核心观察是工具调用本质是检索与组装而非推理，因此采用纯注意力加门控结构、完全去掉 FFN。
推荐理由：端侧函数调用模型的代表性工作，结构取舍结论对端侧 AI 有普适启发。
声网博客评分2727 双耳渲染技术详解：从单声道到3D音效的演进
双耳渲染通过HRTF模拟声音到双耳的传播过程，用普通耳机实现前后上下三维定位，区别于仅有左右维度的立体声和依赖多音箱的环绕声。其实现分双耳录音与双耳合成两类，后者灵活可实时调整声源，但受限于HRTF个性化、头部追踪缺失及多声源卷积的算力开销。
Tavus Blog评分4040 Tavus 推出 Raven-1 多模态感知系统，融合音视频实时理解对话意图
Tavus 发布 Raven-1 多模态感知系统，将音频、视觉与时间动态统一处理并实时对齐，通过语调、表情、迟疑和语境判断用户真实意图，而非仅依赖文字转写。此前其 Raven-0 已让 AI 具备解读视觉语境的能力。该系统针对传统对话 AI 将语音转为文本后丢失语调、节奏、非语言声音和情绪变化等信息的问题，主张情绪是连续且分层的，无法归入固定类别。
Google AI Blog精选评分6868 YouTube 自动作配音扩展至 27 种语言：Expressive Speech 八语种上线并试点唇形同步
YouTube 宣布自动配音面向所有创作者开放并扩展至 27 种语言：2025 年 12 月日均超 600 万观众观看 10 分钟以上自动配音内容；Expressive Speech 在英法德等 8 种语言上线以保留情绪表达，同时新增观众偏好语言设置与音乐/静音视频智能过滤，唇形同步处于试点阶段。
推荐理由：全球最大视频平台的 AI 配音规模化数据与功能边界，是配音行业与 AI 增强的风向标。
声网博客评分2222 声网对话式 AI 引擎：2 行代码 15 分钟搭建 24 小时 AI 客服
声网推出对话式 AI 引擎，主打 2 行代码、15 分钟快速构建 AI 客服智能体，集成 ASR、NLP、LLM 与 TTS 全链路。其端到端响应延迟控制在 650 毫秒以内，打断响应为 340 毫秒，并可抑制高达 95% 的环境人声与背景噪声。接入需开通服务、集成 v4.5.1 及以上实时互动 SDK，并配置 LLM 与 TTS 供应商信息。
声网博客评分2222 Oopz 降噪游戏语音背后的声网对话式 AI“黑科技”
声网与游戏语音平台 Oopz 合作，将基于判别式 AI 的降噪技术融入游戏开黑场景，可识别并抑制稳态与非稳态噪音，覆盖十四大场景上百种噪音，并在端侧完成运算。该方案在低信噪比下保持人声清晰，配合去混响无啸叫技术解决多设备连麦的回声与啸叫问题。
Cartesia Blog精选评分5050 Cartesia 发布 H-Nets 分层网络研究，直接从原始数据学习
Cartesia 公布分层网络 H-Nets 研究，其动态分块机制把原始数据切分并压缩为更高层概念，由编码器、主网络和解码器三部分组成。在语言建模上，H-Nets 直接从原始字节学习，数据扩展性优于使用 BPE 分词的 Transformer，在中文、代码和 DNA 等无自然分词边界的领域提升更明显，并可堆叠学习更深层级，对大小写等输入扰动更稳健。团队已在 HuggingFace 发布 H-Net 2-stage XL、1-stage XL 和 1-stage L 检查点。
推荐理由：原文给出 H-Net 在语言建模上的三项结果与架构设计，可据此判断分层建模对多模态与长上下文的适用边界。
Cartesia Blog评分4040 Cartesia 推出基于 Sonic 的专业语音克隆（PVC），Startup+ 套餐可自助使用
Cartesia 推出基于 Sonic 文本转语音模型微调的专业语音克隆（PVC），可复刻音色、语调、风格与环境，现已登陆 Startup 及以上套餐并支持自助开通。训练免费，生成按每字符 1 credit 计费，与即时语音克隆相同；支持 15 种语言，可通过 Playground UI 和 API 使用。
Cartesia Blog评分3636 Cartesia 获 Kleiner Perkins 领投 6400 万美元 A 轮融资，发布语音生成模型 Sonic 2.0
Cartesia 宣布完成由 Kleiner Perkins 领投的 6400 万美元 A 轮融资，并推出基于状态空间模型架构的语音生成模型 Sonic 2.0。该模型规模是 Sonic 的两倍但速度更快，全模型延迟 90ms、turbo 模式 40ms，在 100 个留出音色的盲测中偏好度达次优厂商的 1.5 倍，同时新增变声与音频填充两个接口。
Cartesia Blog评分3636 Cartesia 宣布 2700 万美元种子轮融资，由 Index Ventures 领投
Cartesia 宣布完成 2700 万美元种子轮融资，由 Index Ventures 领投，Lightspeed、General Catalyst 等参投。该公司基于 S4、Mamba 等 SSM 架构研发多流模型，已推出超写实语音生成模型 Sonic 并实现端侧部署，新模型在 Sonic Preview 中开放试用，未来几周将通过实时 API 提供。
Cartesia Blog评分4040 Cartesia 发布 Voice Changer：保留原始语气与情感的音色转换模型
Cartesia 推出 Voice Changer，可将任意音频片段转换为目标音色，同时保留原声的表达方式、情感与韵律。用户可从录音棚级音色库中选择，或克隆自己的声音，并精确控制情感与节奏；该模型基于 S4、Mamba 等状态空间模型架构，已在 Cartesia playground 上线。
Cartesia Blog精选评分6060 Cartesia 发布低延迟语音模型 Sonic，模型延迟 135ms
Cartesia 发布低延迟语音模型 Sonic，用于生成逼真语音，模型延迟为 135ms，官方称这是同类模型中最快的。Sonic 配套网页 playground 和低延迟 API，playground 提供面向客服、娱乐和内容创作的语音库，支持即时克隆和语音设计（语速、情感），这些能力均可通过 API 使用。Cartesia 表示其基于状态空间模型架构，并自建推理栈以降低延迟和成本，后续将发布关于新架构的更多细节。
推荐理由：官方给出 Sonic 的 135ms 模型延迟与自研状态空间模型推理栈，可据此判断低延迟语音合成的当前水平。
Cartesia Blog精选评分6262 Cartesia 提出 Based 架构：提示处理比 FlashAttention-2 快 56%，生成吞吐高 24 倍
Cartesia 发布论文与博客，提出循环架构 Based，用滑动窗口注意力（窗口 64）加线性注意力（对 exp(QK^T) 做二阶泰勒近似）组合，在信息抽取、阅读理解等召回密集型任务上平均比 Mamba 高 6.22 个准确率点。处理提示时 Based 比 FlashAttention-2 和 Mamba 分别快 56% 和 44%，文本生成吞吐最高达 FlashAttention-2 的 24 倍；但 Based 与 Mamba 仍不及最强 Transformer 基线。配套 IO 感知算法与检查点已在 Hugging Face 和 GitHub 仓库开源。
推荐理由：论文给出召回与显存之间的权衡分析，并说明 Based 如何用滑窗加线性注意力落到该曲线上。