双耳渲染技术详解:从单声道到3D音效的演进
双耳渲染通过HRTF模拟声音到双耳的传播过程,用普通耳机实现前后上下三维定位,区别于仅有左右维度的立体声和依赖多音箱的环绕声。其实现分双耳录音与双耳合成两类,后者灵活可实时调整声源,但受限于HRTF个性化、头部追踪缺失及多声源卷积的算力开销。
双耳渲染通过HRTF模拟声音到双耳的传播过程,用普通耳机实现前后上下三维定位,区别于仅有左右维度的立体声和依赖多音箱的环绕声。其实现分双耳录音与双耳合成两类,后者灵活可实时调整声源,但受限于HRTF个性化、头部追踪缺失及多声源卷积的算力开销。
Tavus 发布 Raven-1 多模态感知系统,将音频、视觉与时间动态统一处理并实时对齐,通过语调、表情、迟疑和语境判断用户真实意图,而非仅依赖文字转写。此前其 Raven-0 已让 AI 具备解读视觉语境的能力。该系统针对传统对话 AI 将语音转为文本后丢失语调、节奏、非语言声音和情绪变化等信息的问题,主张情绪是连续且分层的,无法归入固定类别。
YouTube 宣布自动配音面向所有创作者开放并扩展至 27 种语言:2025 年 12 月日均超 600 万观众观看 10 分钟以上自动配音内容;Expressive Speech 在英法德等 8 种语言上线以保留情绪表达,同时新增观众偏好语言设置与音乐/静音视频智能过滤,唇形同步处于试点阶段。
推荐理由:全球最大视频平台的 AI 配音规模化数据与功能边界,是配音行业与 AI 增强的风向标。
声网推出对话式 AI 引擎,主打 2 行代码、15 分钟快速构建 AI 客服智能体,集成 ASR、NLP、LLM 与 TTS 全链路。其端到端响应延迟控制在 650 毫秒以内,打断响应为 340 毫秒,并可抑制高达 95% 的环境人声与背景噪声。接入需开通服务、集成 v4.5.1 及以上实时互动 SDK,并配置 LLM 与 TTS 供应商信息。
声网与游戏语音平台 Oopz 合作,将基于判别式 AI 的降噪技术融入游戏开黑场景,可识别并抑制稳态与非稳态噪音,覆盖十四大场景上百种噪音,并在端侧完成运算。该方案在低信噪比下保持人声清晰,配合去混响无啸叫技术解决多设备连麦的回声与啸叫问题。
Cartesia 公布分层网络 H-Nets 研究,其动态分块机制把原始数据切分并压缩为更高层概念,由编码器、主网络和解码器三部分组成。在语言建模上,H-Nets 直接从原始字节学习,数据扩展性优于使用 BPE 分词的 Transformer,在中文、代码和 DNA 等无自然分词边界的领域提升更明显,并可堆叠学习更深层级,对大小写等输入扰动更稳健。团队已在 HuggingFace 发布 H-Net 2-stage XL、1-stage XL 和 1-stage L 检查点。
推荐理由:原文给出 H-Net 在语言建模上的三项结果与架构设计,可据此判断分层建模对多模态与长上下文的适用边界。
Cartesia 推出基于 Sonic 文本转语音模型微调的专业语音克隆(PVC),可复刻音色、语调、风格与环境,现已登陆 Startup 及以上套餐并支持自助开通。训练免费,生成按每字符 1 credit 计费,与即时语音克隆相同;支持 15 种语言,可通过 Playground UI 和 API 使用。
Cartesia 宣布完成由 Kleiner Perkins 领投的 6400 万美元 A 轮融资,并推出基于状态空间模型架构的语音生成模型 Sonic 2.0。该模型规模是 Sonic 的两倍但速度更快,全模型延迟 90ms、turbo 模式 40ms,在 100 个留出音色的盲测中偏好度达次优厂商的 1.5 倍,同时新增变声与音频填充两个接口。
Cartesia 宣布完成 2700 万美元种子轮融资,由 Index Ventures 领投,Lightspeed、General Catalyst 等参投。该公司基于 S4、Mamba 等 SSM 架构研发多流模型,已推出超写实语音生成模型 Sonic 并实现端侧部署,新模型在 Sonic Preview 中开放试用,未来几周将通过实时 API 提供。
Cartesia 推出 Voice Changer,可将任意音频片段转换为目标音色,同时保留原声的表达方式、情感与韵律。用户可从录音棚级音色库中选择,或克隆自己的声音,并精确控制情感与节奏;该模型基于 S4、Mamba 等状态空间模型架构,已在 Cartesia playground 上线。
Cartesia 发布低延迟语音模型 Sonic,用于生成逼真语音,模型延迟为 135ms,官方称这是同类模型中最快的。Sonic 配套网页 playground 和低延迟 API,playground 提供面向客服、娱乐和内容创作的语音库,支持即时克隆和语音设计(语速、情感),这些能力均可通过 API 使用。Cartesia 表示其基于状态空间模型架构,并自建推理栈以降低延迟和成本,后续将发布关于新架构的更多细节。
推荐理由:官方给出 Sonic 的 135ms 模型延迟与自研状态空间模型推理栈,可据此判断低延迟语音合成的当前水平。
Cartesia 发布论文与博客,提出循环架构 Based,用滑动窗口注意力(窗口 64)加线性注意力(对 exp(QK^T) 做二阶泰勒近似)组合,在信息抽取、阅读理解等召回密集型任务上平均比 Mamba 高 6.22 个准确率点。处理提示时 Based 比 FlashAttention-2 和 Mamba 分别快 56% 和 44%,文本生成吞吐最高达 FlashAttention-2 的 24 倍;但 Based 与 Mamba 仍不及最强 Transformer 基线。配套 IO 感知算法与检查点已在 Hugging Face 和 GitHub 仓库开源。
推荐理由:论文给出召回与显存之间的权衡分析,并说明 Based 如何用滑窗加线性注意力落到该曲线上。