Mux 发布提示词库（prompt library），为常见视频用例提供写给编码智能体阅读的指令，指明该用哪些 Mux 组件、按什么顺序、以及 Mux 自己会选的默认值。在播客切片测试中，未给提示词时 6 次运行仅 1 次首选 Mux，Claude Code 自建 S3、FFmpeg 与 Deepgram 链路耗时 69 分钟、946 credits 且只通过 6 项标准中的 1 项；给出切片提示词后 15 次运行全部用 Mux 完成整个流程，决策时间从 82 秒降至 46 秒。
Formula 1 与 AWS 合作在 2026 年 4 月为 12PB 的 F1 Video Archive 上线 Media Archive Discovery 系统，用 Amazon Bedrock 将自然语言请求转成精确检索，用户输入“find celebrations after Leclerc's first Ferrari win”即可直接取到片段。该 AI 层只做查询增强，不替换原有 OpenSearch Service 引擎，日常检索不受影响；任一步骤失败时回退到纯文本搜索，保证始终有结果返回。
Raise Financial Services 正基于 Cartesia 的语音模型开发多语言语音体验，其 Dhan 语音机器人已有超 75% 的交互使用非英语语言，其中印地语占一半以上。Cartesia 的 Sonic 文本转语音模型支持印地语、泰米尔语、泰卢固语、马拉地语等 11 种印度语言，并可在单次生成中切换语言。Raise 将模型部署在自有基础设施内，超三分之一语音机器人来电在非工作时间由 AI 独立处理。
语音活动检测（VAD）以毫秒级音频帧为单位判断是否含有人声，并以 0 到 1 的置信度输出二值结果，供 ASR/STT、LLM 等下游系统决定是否处理音频。算法按采集、分帧、特征提取、打分、状态决策五阶段循环运行，分为传统信号处理、神经网络和语义 AI 三类。VAD 只判断帧内是否有人声，判断说话人是否说完需由端点检测（endpointing）完成。
ElevenLabs 在 ElevenCreative 中推出 Brand Kit，把品牌视觉规范从提示词中抽离为工作区里的独立对象，一次设置即可作用于每次生成。用户可存入颜色、字体、Logo、参考图和规则，在 Image & Video、Flows 和 ElevenCreative agent 的提示词中用 @ 调用，同一套规范跨各功能复用，并支持团队与多品牌分别建套切换。该功能现已上线，官方称下一步将把 Kit 扩展到品牌声音与音效。
Asana 借助 Codex 中的 GPT-6 Astra，在浏览器测试中让其浏览器智能体成本降低 76 倍、速度提升 5 倍，从而为客户提供能力更强的模型。
Serve AI 将其电话智能体从 Retell 的对话流程图迁移到 LiveKit 单提示词架构，用 Agent Simulations 跑约一百通真实生产通话，迭代十到十五次后达到 98% 通过率、中位轮次延迟 1.3 秒（上限 1.5 秒）才切换流量。首个账号迁移耗时一周且未回滚，上线后问题拦截率提升 15%，Serve 估算该客户每年再省 32 万美元。
LiveKit 面向所有 LiveKit Cloud 项目正式推出 Agent Simulations，用 LLM 驱动的模拟用户按任务级场景跑完整对话，再由 LLM 评审给出通过或失败及原因。文本模拟跳过语音模型、只测对话逻辑，默认低优先级调度，可在每次 PR 上运行并在失败时返回非零退出码；音频模拟覆盖含背景噪声、打断和附和声的完整音频链路，实时运行且计费更高，适合夜间或发布前跑。CLI 可读取智能体代码自动生成场景，场景以 scenarios.yaml 版本化保存。该功能 10 月内免费，但模拟会调用真实智能体的 LLM 及音频模式下的 STT、TTS，按正常费率计费。
推荐理由：LiveKit 把语音智能体测试从逐轮对话提升到任务级模拟，并给出文本与音频两种运行方式的成本取舍。
微软于2026年10月1日发布三款语音模型：流式语音识别MAI-Transcribe-2-Streaming、语音合成MAI-Voice-2.1和MAI-Voice-2.1-Flash。MAI-Transcribe-2-Streaming在用户开始说话后约100毫秒给出首个部分转写结果，代价是模型无法回看整句上下文，易混淆词和被打断场景的出错概率更高；MAI-Voice-2.1-Flash端到端延迟150毫秒，推理速度比上一代提升55%，成本降低约60%，分块生成可能影响语调连贯性。文章还提到ElevenLabs v4 Turbo推理延迟也在100毫秒量级，并指出流式传输下连续小片段丢包会带来明显卡顿。
推荐理由：微软三款语音模型把流式识别与合成延迟压到百毫秒级，可对照理解分块生成在准确率与语调连贯性上的取舍。
AWS 在 IBC 2026 上发布四项 AWS Elemental 新能力，将 AI、个性化与智能变现引入直播视频工作流。其中 MediaPackage Dynamic Multiview 让观众自选多机位布局，可为广播商节省最高 97% 的编码成本；Inference Contextual Metadata 则实时提取 AI 元数据以支撑个性化与情境广告决策。
Hume AI 的技术长文，介绍其 Expression API 背后的面部与语音表情测量模型的科学依据、研发过程与评测方法：把语气、迟疑、惊讶等信号转为结构化分数，用于数据标注、AI 输出评估与跨录音比较，并跟踪交互过程中情绪随时间的变化。
推荐理由：少见地把情绪测量模型的构建与评测方法完整公开，对情感计算与语音 Agent 评测有方法论价值。
Hume AI 推出 Expression APIs，将声音与面部表情转化为结构化分数，估计他人对该表达的可能感知，语音侧还额外度量说话风格与嗓音特质；支持实时交互与离线录音分析标注两种模式。典型场景是让语音 Agent 识别客户语气中的挫败感——转写文字相同而情绪不同的情况。
推荐理由：把情绪信号做成可调用的结构化 API，补上语音 Agent 与情感计算管线里转写之外的关键一环。
LiveKit 从四个工程问题对比 Retell、Vapi 与 LiveKit 三款语音 AI 智能体平台：上线后由谁迭代、需求超出默认配置时如何改动、是否需支持电话之外的 Web、移动、视频与 WhatsApp 等渠道，以及规模化成本。三者每分钟全包成本估算分别约为 $0.070–$0.310、$0.070–$0.116 和 $0.037–$0.099，仅 LiveKit 支持 Apache 2.0 开源与自托管。
继 DaVinci Resolve Studio 之后，Higgs VoiceOver 插件现已支持 macOS 上的 Adobe Premiere Pro：每句旁白由 Higgs TTS 3 生成并作为独立剪辑落入时间线，可按行导演情绪、风格与语速，生成词级时间对齐字幕，并用约 10 秒自己的音频构建 100+ 语言的定制音色；使用自己的 Boson API key，按用量计费，Final Cut Pro 版本在开发中。
推荐理由：AI 配音进入主流专业剪辑软件时间线，把 TTS 能力落到视频生产工作流，实用面较广但属常规产品扩展。
Tavus 提出 Personified Application Layer（PAL），把感知、共情与记忆打包成可面对面交谈的应用，并给出 Tavus Turing Test 分级：Stage 0 只有渲染的脸和声音，Stage 0.5 具备人格但上下文限于单次会话，Stage 1 才是能跨交互记忆、推理并主动行动的持久 PAL。Tavus 称该测试是面向 PAL 团队的设计成熟度模型，并非经外部验证的基准。
Google 回顾 9 月 AI 更新，最新前沿模型 Gemini 4 Argon 具备 100 万 token 输出上限，面向网络安全防御，目前通过 Fairwind Program 向受信任防御者分阶段开放。同月还发布 Gemini 3.8 Flash 与 3.8 Flash Cyber、Gemini 3.8 Live 语音模型，并为 Gemini 应用新增 Connected Apps。
Vincent Wargnier 与 Nayl Ahmadulin 在赛前五天组队，凭 Compass 拿下 Boson AI 的 Higgs Realtime 黑客松第一名。Compass 是能在后台搜索、推理并执行建站等重任务的同时保持自然对话的语音智能体，不会因工具运行而沉默，而是继续提问、吸收中间结果。Wargnier 认为现有语音智能体在长任务中要么静默、要么只给无用状态提示，这正是其想解决的问题。
Boson AI 的 Higgs TTS 3 在 Hume AI 语音复刻榜单中位列 11 个模型第四，口音参考音得分 4.28 为全场最高，略高于 VoxCPM2，并领先 Fish Audio S2 Pro、ElevenLabs v3 和 ElevenLabs Multilingual v2。该评测由三名人工评分者在不知模型来源的情况下按 1 至 5 分打分，测试集含 25 个参考音，其中 15 个带不同口音、9 个来自非英语母语者。Higgs TTS 3 的 Same Speaker 得分为 3.83，客观相似度 0.74 并列第三，音质 4.38 与最高分相差 0.23。该模型为开放权重，已在 Hugging Face 上线，上月下载量接近 10 万次，并可通过 Higgs TTS API 使用。
Mux 发布 Robots playground，可在 Dashboard 中直接对自有视频运行 AI 工作流并查看格式化输出，无需先写代码。工作流涵盖摘要、关键片段提取、字幕翻译与内容审核，每次调用即真实 Robots API 任务，输出保留 30 天并按 unit 计费。页面支持参数与输出引导调优、两次运行结果并排对比，并可复制 agent prompt 将调优配置带入生产。
Tavus 用 Personified Application Layers（PALs）构建实时 AI 产品演示，让 AI 数字人在直播演示中即时回答买家的定价、集成与安全问题，并当场预约会议。其 Phoenix-4.5 面部行为引擎支持 10+ 种可控情绪状态，Raven-1 多模态感知以低于 100ms 延迟融合语气与表情，Sparrow-2 在 TurnBench 公开开发集上达到 92.4% 轮次结束召回率。
Tavus 撰文对比 AI copilot 与 AI agent 的产品选型：copilot 在人工任务内提供草稿与建议、由人保留否决权，agent 则接受目标后自主调用工具直至完成。文章引用 Gartner 定义与四级自主性分层，指出二者在自主性、触发范围、问责归属和集成范围四个维度分化，并强调当对话本身即交付物时，需要真实在场感的 AI 视频 agent。
Tavus 在八款 AI 客服平台横评中位列第一，其 Conversational Video Interface 通过托管 WebRTC 连接实现低于 200ms 的响应延迟，Sparrow-2 模型在 81% 的轮次结束点达到人类典型应答时机。Anam 以单张照片生成数字人并公布低于 1 秒的中位对话延迟，UneeQ 则面向受监管企业提供云、混合与本地部署。评测按渠道覆盖、知识 grounding、工单系统适配、定价与合规等维度排序。
Tavus 介绍用约 2 分钟视频训练 AI 克隆的完整流程：在 PAL Maker 中上传片段、选择训练路径并预览 Replica，录制需 1080p、25fps 以上，且包含至少 30 秒说话片段。实时 PAL 通过 Raven-1、Sparrow-2、Phoenix-4.5 等模型实现 40fps 1080p 面部渲染与约 30ms 知识库检索，并借助 Persistent Memory 跨会话记忆。
Tavus 提出用实时视频智能体在对话进行中给出反馈，而非事后评分卡，可捕捉语气、节奏和犹豫等文字记录无法呈现的信号。其 PAL 在面试练习场景中已记录 120 万分钟以上练习时长，用户在与真人感面试官互动时停留时长增加 42%、完成会话数增加 35%。
Tavus 提出用 AI 微服务架构拆分实时视频智能体，将感知、对话流、推理和面部行为生成拆为四个可独立部署、独立扩缩容的服务，避免单体架构中一处卡顿导致整张脸冻结。感知服务输出上下文陈旧度不超过 300ms，行为生成需维持 1080p 下 40fps，并满足 ITU-R 音频领先视频 45ms、滞后 125ms 的可察觉阈值。
数字孪生是某个特定物理对象的虚拟模型，靠传感器数据持续同步、实时更新，用于监测、预测和决策，ISO 23247-1 将其定义为可观测制造要素的适用数字表示。它与仿真、复刻人的区别在于：仿真无实时数据，复刻人只从录制视频训练一次、不再与本人重新同步。Tavus 认为，把复刻人称作数字孪生会误导用户以为存在实时连接，并建议用 Replica 加 Personified Application Layer（PAL）来区分外观声音与对话系统。
Hume AI 用自建评分标准独立评测了 5 个 Gemini TTS 模型的多说话人对话能力，Gemini 3.8 Flash 与 3.8 Flash-Lite 综合得分最高，分别为 4.11 和 4.10。情感控制是各模型最强项，达 4.26 至 4.31；说话人区分度最弱，五个模型中四个垫底，同性别组合尤其困难，男男配对平均仅 2.87。
Phoenix-4.5 是首个将情感状态生成、主动倾听行为与连续面部动作统一为单一系统的实时模型，文章以代码讲解其状态空间建模实现，覆盖毫秒级延迟的上下文感知表情与头部动作。
推荐理由：实时数字人行为生成的技术深度文，披露模型架构思路与延迟水平。
文章对比免费生成器（产出单向视频片段）与企业级 AI 数字人（实时看听说），指出免费档失效的位置与时机。
ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo，称 Eleven v4 在 Artificial Analysis 排名第一，并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景，中位推理延迟约 100ms，中位首次发声时间约 150ms，与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言，Instant Voice Clones 用 10 秒音频即可克隆，并新增 Professional Voice Clones 支持，现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。
推荐理由：官方给出两款新模型的延迟、盲测偏好与克隆门槛，可据此判断语音代理和配音场景是否值得迁移。
IIT RTC Conference 2026 将"AI in RTC"设为与 WebRTC 并列的独立分论坛，语音AI对实时系统提出的规模、延迟、信任问题被正式承认为独立研究方向。会议讨论指出，语音AI路径天然非点对点，TURN中继转发压力随并发迅速堆高，可用eBPF将ChannelData包转发下沉内核层；一次对话约800毫秒延迟预算中，端点检测最难做准。2026年8月公开评测显示，语音端到端延迟最快已达0.44秒。
Pipecat 发布 v1.12.0，新增 Pipecat Classifiers，可通过 JevClassifier 或 LLMClassifier 对状态提出是/否、选择与评分问题，并新增 TTSService.pronunciation_transform_ipa() 用词到 IPA 的映射控制专有名词发音。MOQTransport 增加客户端模式重连，断线后按退避重拨，MOQParams.connection_timeout 默认由 30 s 改为 60 s；同时弃用 UninterruptibleFrame、BaseUIWorker 等接口，将在 2.0.0 移除。
推荐理由：版本说明覆盖分类器、MOQ 重连与语音合成发音等多项能力变化，并列出弃用与移除项，便于评估升级影响。
Boson AI 发布 Higgs VoiceOver 插件，把 AI 配音放进视频剪辑器，由 Higgs TTS 3 驱动，每句旁白生成独立片段并自动排到时间线的配音轨上。它支持用标签控制情绪、语速和音效，自动生成词级时间轴字幕，用约十秒音频克隆自定义声音，覆盖 100 多种语言且同一句内可切换语言。该插件已在 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro 上线，Final Cut Pro 与 Windows 版本在开发中，使用自带 Boson API key 按量计费，价格为每千字符 0.015 美元。
推荐理由：面向剪辑工作流的 AI 配音插件，说明它如何把配音、字幕和声音克隆放进时间线，以及按量计费的成本口径。
文章介绍与能看、听并实时反驳的视频智能体演练高风险谈判，并列出谈判训练平台的评估要点。
文章面向企业培训团队说明 AI 角色扮演的运作方式、相对传统练习的优势与平台选型要点。
文章区分两类产物：预渲染生成器输出成品视频文件，实时引擎维持活对话，建议按是否需要双向互动选择架构。
Hume 对 Google Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 预览版进行独立评测，两款模型分列 Expressivity–Reliability 前沿评分第一、第二，达 0.920 和 0.914。相比 Gemini 3.1 Flash TTS，长文本稳定性得分从 1.22 升至 2.89 和 3.03（五分制），语音设计可控性领先，但说话人相似度与部分精细控制仍偏弱。
Meta Connect 2026 发布 Muse Realtime Avatar 与 Ray-Ban Meta Audio 两条实时 AI 交互产品线，前者把语音对话升级为带口型、表情和手势的可视化形象，后者是 349 美元起、43 克、10 月 13 日发货的无摄像头纯音频眼镜。Meta 称 Muse Realtime Avatar 通过自蒸馏把教师模型的 120 次调用压缩到 2 次，响应延迟约 870 毫秒，但仍处于 early preview，画面偶有扭曲模糊。
高通在骁龙峰会发布骁龙8至尊版Gen 6与骁龙8旗舰版Gen 6，旗舰版可本地运行300亿参数MoE模型并完成语音识别到合成的全链路Agent，标准版感知中枢支持2亿参数模型做个人速记与说话人区分，两款均内置实时降噪“语音气泡”。但MoE省的是计算量而非内存，300亿参数仍需量化压缩才能塞进手机，且芯片只处理麦克风收到的这段声音，跨设备传输的丢包、抖动与路径调度仍由声网SD-RTN这类实时网承担。
Cartesia 发布 Multilingual Voices，50+ 音色库音色原生支持最多 25 种语言，自建克隆音色也可扩展为多语言。每个语言和口音由母语者按评分标准审核，检查口音是否保持以及日期、数字、货币是否按当地方式朗读。用户可用同一 voice ID 搭配不同 locale 调用 TTS，或在仪表盘中为克隆音色最多添加 9 种新口音和语言。