跳到正文
  1. LiveKit Blog62

    LiveKit 推出 Agent Simulations,用模拟用户测试语音智能体

    LiveKit 面向所有 LiveKit Cloud 项目正式推出 Agent Simulations,用 LLM 驱动的模拟用户按任务级场景跑完整对话,再由 LLM 评审给出通过或失败及原因。文本模拟跳过语音模型、只测对话逻辑,默认低优先级调度,可在每次 PR 上运行并在失败时返回非零退出码;音频模拟覆盖含背景噪声、打断和附和声的完整音频链路,实时运行且计费更高,适合夜间或发布前跑。CLI 可读取智能体代码自动生成场景,场景以 scenarios.yaml 版本化保存。该功能 10 月内免费,但模拟会调用真实智能体的 LLM 及音频模式下的 STT、TTS,按正常费率计费。

    推荐理由:LiveKit 把语音智能体测试从逐轮对话提升到任务级模拟,并给出文本与音频两种运行方式的成本取舍。

  1. Hume AI Blog65

    Hume AI 发布 Expression APIs:把语音与面部表情转为结构化感知分数

    Hume AI 推出 Expression APIs,将声音与面部表情转化为结构化分数,估计他人对该表达的可能感知,语音侧还额外度量说话风格与嗓音特质;支持实时交互与离线录音分析标注两种模式。典型场景是让语音 Agent 识别客户语气中的挫败感——转写文字相同而情绪不同的情况。

    推荐理由:把情绪信号做成可调用的结构化 API,补上语音 Agent 与情感计算管线里转写之外的关键一环。

  2. Boson AI Blog55

    Boson Higgs VoiceOver 登陆 Premiere Pro:Higgs TTS 3 驱动的可导挥 AI 配音与词级字幕

    继 DaVinci Resolve Studio 之后,Higgs VoiceOver 插件现已支持 macOS 上的 Adobe Premiere Pro:每句旁白由 Higgs TTS 3 生成并作为独立剪辑落入时间线,可按行导演情绪、风格与语速,生成词级时间对齐字幕,并用约 10 秒自己的音频构建 100+ 语言的定制音色;使用自己的 Boson API key,按用量计费,Final Cut Pro 版本在开发中。

    推荐理由:AI 配音进入主流专业剪辑软件时间线,把 TTS 能力落到视频生产工作流,实用面较广但属常规产品扩展。

  1. ElevenLabs Blog67

    ElevenLabs 发布 Eleven v4 与低延迟版 Eleven v4 Turbo 语音模型

    ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo,称 Eleven v4 在 Artificial Analysis 排名第一,并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景,中位推理延迟约 100ms,中位首次发声时间约 150ms,与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言,Instant Voice Clones 用 10 秒音频即可克隆,并新增 Professional Voice Clones 支持,现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。

    推荐理由:官方给出两款新模型的延迟、盲测偏好与克隆门槛,可据此判断语音代理和配音场景是否值得迁移。

  1. Pipecat Releases62

    Pipecat v1.12.0 发布:新增分类器与 MOQ 客户端重连,TTS 支持 IPA 发音映射

    Pipecat 发布 v1.12.0,新增 Pipecat Classifiers,可通过 JevClassifier 或 LLMClassifier 对状态提出是/否、选择与评分问题,并新增 TTSService.pronunciation_transform_ipa() 用词到 IPA 的映射控制专有名词发音。MOQTransport 增加客户端模式重连,断线后按退避重拨,MOQParams.connection_timeout 默认由 30 s 改为 60 s;同时弃用 UninterruptibleFrame、BaseUIWorker 等接口,将在 2.0.0 移除。

    推荐理由:版本说明覆盖分类器、MOQ 重连与语音合成发音等多项能力变化,并列出弃用与移除项,便于评估升级影响。

  1. Boson AI Blog58

    Boson AI 发布 Higgs VoiceOver:在 DaVinci Resolve 和 Premiere Pro 内生成 AI 配音

    Boson AI 发布 Higgs VoiceOver 插件,把 AI 配音放进视频剪辑器,由 Higgs TTS 3 驱动,每句旁白生成独立片段并自动排到时间线的配音轨上。它支持用标签控制情绪、语速和音效,自动生成词级时间轴字幕,用约十秒音频克隆自定义声音,覆盖 100 多种语言且同一句内可切换语言。该插件已在 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro 上线,Final Cut Pro 与 Windows 版本在开发中,使用自带 Boson API key 按量计费,价格为每千字符 0.015 美元。

    推荐理由:面向剪辑工作流的 AI 配音插件,说明它如何把配音、字幕和声音克隆放进时间线,以及按量计费的成本口径。

  1. Tavus Blog66

    Tavus 发布 Phoenix-4.5:实时数字人从全脸生成迈向全身动作与对话表现力

    Tavus 推出 Phoenix 系列实时数字人模型的 4.5 版本,官方定位为三年来在自然度上最大的一次跨越:在 Phoenix-4 情绪可控、主动聆听与连续面部动作的基础上,把生成范围从嘴部、面部扩展到肩部姿态、头部节奏等身体语言。文章为研究与技术综述,说明该版本对实时对话中临场感(presence)的改进。

    推荐理由:实时数字人方向的旗舰产品迭代,直接关系到 Conversational Video Interface 的对话自然度。

  1. Daily.co Blog62

    Pipecat 发布 PhoneLLM Alpha 1 语音智能体开源模型与 PhoneBench v1 基准

    Pipecat 团队发布 PhoneLLM Alpha 1,一个面向语音智能体场景的开源权重模型,基于 NVIDIA Nemotron 3 Nano 30B-A3B 全参数微调,采用 MoE 架构、3.5B 激活参数,以 BSD 许可发布且无商用限制。官方称其表现与 GPT 5.6 Terra 相当,但成本低 94%、P95 首 token 时间快 1,300ms,单请求 TTFT P95 在 B200 上低于 100ms。同时发布 PhoneBench v1 基准,用 LLM 评审团评估电话智能体的说话风格、工具调用准确性与每分钟运行成本;权重已上线 HuggingFace,官方建议将 temperature 设为 0 并关闭 thinking。

    推荐理由:原文给出模型规格、延迟与成本测算方式,读者可据此判断自托管语音智能体是否划算。

  1. LiveKit Blog52

    LiveKit Agent Observability 推出 PII 脱敏功能

    LiveKit 为 Agent Observability 新增 PII 脱敏功能,在录音和转写文本存入前自动移除姓名、地址、生日等敏感信息,对使用该功能的客户不额外收费。脱敏用 LLM 按上下文识别,转写文本中的词替换为标记,轨迹和日志中的敏感字段直接丢弃;由于词级 ASR 时间戳并非在所有 STT 模型上都可靠,音频改为删除整个轮次并以提示音替代。目前支持 10 组共 41 类 PII,需使用 LiveKit Agents SDK Python 或 Node.js 1.7.0 版本,数据保留 30 天后自动删除。

    推荐理由:LiveKit 用 LLM 按上下文做 PII 脱敏,并说明音频整轮删除的取舍,可据此判断合规方案是否够用。

  1. LiveKit Blog62

    LiveKit Agents 推出 expressive mode,让语音智能体按对话情绪调整语气

    LiveKit 在 LiveKit Agents 中发布 expressive mode,用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言,由框架统一转换,并会把多句合并成更大块再送入 TTS,以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型,前端可通过 lk.expression 属性获取情绪信号。

    推荐理由:LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记,并给出开启方式与前端联动做法。

  1. Tavus Blog61

    Tavus 上线 Presentation Mode:PAL 接管幻灯片实时讲解与答疑

    Tavus 推出 Presentation Mode,把演示文稿交给 PAL 实时讲解:既可从头讲到尾,也能在提问时调出对应页面,让团队常讲的内容随时可被启动。

    推荐理由:PAL 应用形态的重要功能扩展,视频智能体开始承担知识交付。

  1. Google AI Blog56

    Google 扩展 SynthID 与内容凭证的媒体溯源覆盖

    Google 公布内容透明度工具进展:SynthID 不可见水印已用于 AI 生成的图像、视频与音频,累计标注超过 1000 亿张图像/视频与 6 万年时长的音频;C2PA Content Credentials 从 Pixel 10 相机扩展到 Pixel 8/9/10 的视频拍摄。SynthID 验证已在 Gemini App 使用 5000 万次,并扩展到 Search 与 Chrome 的“Is this made with AI?”查询;OpenAI、Kakao、ElevenLabs 将引入 SynthID,Google Cloud 上线 AI Content Detection API。

    推荐理由:AI 生成媒体的水印与溯源正在成为音视频平台的合规基础设施,该更新给出规模化数据。

  1. Google AI Blog68

    YouTube 自动作配音扩展至 27 种语言:Expressive Speech 八语种上线并试点唇形同步

    YouTube 宣布自动配音面向所有创作者开放并扩展至 27 种语言:2025 年 12 月日均超 600 万观众观看 10 分钟以上自动配音内容;Expressive Speech 在英法德等 8 种语言上线以保留情绪表达,同时新增观众偏好语言设置与音乐/静音视频智能过滤,唇形同步处于试点阶段。

    推荐理由:全球最大视频平台的 AI 配音规模化数据与功能边界,是配音行业与 AI 增强的风向标。

  1. Cartesia Blog60

    Cartesia 发布低延迟语音模型 Sonic,模型延迟 135ms

    Cartesia 发布低延迟语音模型 Sonic,用于生成逼真语音,模型延迟为 135ms,官方称这是同类模型中最快的。Sonic 配套网页 playground 和低延迟 API,playground 提供面向客服、娱乐和内容创作的语音库,支持即时克隆和语音设计(语速、情感),这些能力均可通过 API 使用。Cartesia 表示其基于状态空间模型架构,并自建推理栈以降低延迟和成本,后续将发布关于新架构的更多细节。

    推荐理由:官方给出 Sonic 的 135ms 模型延迟与自研状态空间模型推理栈,可据此判断低延迟语音合成的当前水平。

已经到底了