什么是数字孪生,它与 AI 复刻人有何不同?
数字孪生是某个特定物理对象的虚拟模型,靠传感器数据持续同步、实时更新,用于监测、预测和决策,ISO 23247-1 将其定义为可观测制造要素的适用数字表示。它与仿真、复刻人的区别在于:仿真无实时数据,复刻人只从录制视频训练一次、不再与本人重新同步。Tavus 认为,把复刻人称作数字孪生会误导用户以为存在实时连接,并建议用 Replica 加 Personified Application Layer(PAL)来区分外观声音与对话系统。
数字孪生是某个特定物理对象的虚拟模型,靠传感器数据持续同步、实时更新,用于监测、预测和决策,ISO 23247-1 将其定义为可观测制造要素的适用数字表示。它与仿真、复刻人的区别在于:仿真无实时数据,复刻人只从录制视频训练一次、不再与本人重新同步。Tavus 认为,把复刻人称作数字孪生会误导用户以为存在实时连接,并建议用 Replica 加 Personified Application Layer(PAL)来区分外观声音与对话系统。
文章梳理销售 AI 从文本、语音到视频的三层演进,认为视频智能体补上面对面时机感、感知与临场感,适合叠加进现有销售工具栈。
Jitsi Meet 新增多屏支持,一次会话可把演讲者画面、屏幕共享、白板等分别渲染到多个显示器,无需重复入会。第二屏通过 React portal 复用同一 redux store 和组件,视频轨道用 track.clone() 克隆且不增加解码;由 iframe External API 的 setSecondScreen 命令和三个事件控制,也可在参会者右键菜单等处触发。该功能默认关闭,需配置 secondScreen.enabled=true 开启,目前仅支持 Chromium 系浏览器,且需要弹窗和窗口管理两项权限。
推荐理由:Jitsi Meet 新增多屏渲染能力,读者可了解其与开两个标签页在参会者身份和媒体订阅上的差别。
2026 年 10 月 1 日发布的 MoQT draft-22 系统定义了运行在 QUIC/WebTransport 之上的发布/订阅协议:Objects/Tracks/Namespaces 数据模型、relay 转发与缓存职责、订阅优先级与传输顺序控制、控制消息线格式,以及用未分配码点防止协议僵化的机制,是 MoQ 走向 RFC 的核心草案。
推荐理由:MoQ 标准化的主线文档,draft-22 是厂商互操作(Cloudflare/Bitmovin/Ant Media 等)共同对齐的版本。
Inworld 宣布收购实时语音 Agent 平台 Ultravox,其团队加入并继续维护平台;双方此前已有 TTS 合作。Ultravox 带来语音理解、推理与任务执行以及话轮/打断管理能力,与 Inworld 的 Realtime TTS-2、Realtime STT-1 及实时推理基础设施整合,首个整合改进已上线。
推荐理由:语音 Agent 赛道少见的端到端并购,理解侧与生成侧头部团队合并,行业格局信号明确。
Cloudflare Realtime(原 Calls)平台宣布 SFU WebSocket 适配器正式商用(GA),为基于 WebSocket 的实时应用接入 Realtime SFU 提供正式支持。
推荐理由:Cloudflare Realtime 平台的正式化节点之一,Calls 产品演进的延续。
Hume AI 用自建评分标准独立评测了 5 个 Gemini TTS 模型的多说话人对话能力,Gemini 3.8 Flash 与 3.8 Flash-Lite 综合得分最高,分别为 4.11 和 4.10。情感控制是各模型最强项,达 4.26 至 4.31;说话人区分度最弱,五个模型中四个垫底,同性别组合尤其困难,男男配对平均仅 2.87。
流媒体平台可用 Amazon CloudFront 缓存标签按语义分组缓存对象,并通过单次 API 调用精准失效,替代逐条枚举 URL 路径或通配符刷新。配合 EventBridge 与 Lambda,可构建事件驱动的自动刷新链路,从事件发布到缓存清除通常在数秒内完成。每个缓存对象最多 50 个标签,标签不支持通配符,每月前 1000 条失效路径或标签免费,超出部分每条 $0.005。
CDN77 媒体系统架构师详解其转码硬件选型:在对客户数百条样本视频、数万次编码的对比测试中,NETINT Quadra T1U ASIC 在 720p/500kbps-1Mbps 社交媒体码率下画质优于 x264,较 GPU 方案约好 10%,能效约为 GPU 的 3 倍;团队最终采购数千张卡承载上万个并行直播流,并用 capped CRF 平衡画质与码率尖峰。文中同时讨论了 ASIC 锁定单一应用的风险与对冲方式。
推荐理由:罕见的规模化直播转码硬件选型实测复盘,CPU/GPU/ASIC 三路线的画质与能效数据有直接采购参考价值。
Phoenix-4.5 是首个将情感状态生成、主动倾听行为与连续面部动作统一为单一系统的实时模型,文章以代码讲解其状态空间建模实现,覆盖毫秒级延迟的上下文感知表情与头部动作。
推荐理由:实时数字人行为生成的技术深度文,披露模型架构思路与延迟水平。
文章对比免费生成器(产出单向视频片段)与企业级 AI 数字人(实时看听说),指出免费档失效的位置与时机。
WebRTC 并未消亡,但已进入维护期:Chrome 中调用 getUserMedia() 的页面占比从 2019 年的 0.05% 升至今年 0.3%,2025 年中起重新爬升。与此同时 discuss-webrtc 讨论量自 2014 年峰值持续下滑,2026 年前 9 个月 64% 的帖子无人回复,libwebrtc 提交减少、主要由 Google 维护,标准化会议与规范变更也在收缩。
ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo,称 Eleven v4 在 Artificial Analysis 排名第一,并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景,中位推理延迟约 100ms,中位首次发声时间约 150ms,与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言,Instant Voice Clones 用 10 秒音频即可克隆,并新增 Professional Voice Clones 支持,现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。
推荐理由:官方给出两款新模型的延迟、盲测偏好与克隆门槛,可据此判断语音代理和配音场景是否值得迁移。
IIT RTC Conference 2026 将"AI in RTC"设为与 WebRTC 并列的独立分论坛,语音AI对实时系统提出的规模、延迟、信任问题被正式承认为独立研究方向。会议讨论指出,语音AI路径天然非点对点,TURN中继转发压力随并发迅速堆高,可用eBPF将ChannelData包转发下沉内核层;一次对话约800毫秒延迟预算中,端点检测最难做准。2026年8月公开评测显示,语音端到端延迟最快已达0.44秒。
Firefox 157 于 2026 年 9 月 28 日发布,WebRTC 视频通话首次支持在兼容设备上使用硬件 AV1 解码(此前一直软件解码),同时包含 HDR 视频修复与播放变速时的音视频同步改进;对视频通话客户端意味着解码 CPU 占用路径需要重新测试。
Pipecat 发布 v1.12.0,新增 Pipecat Classifiers,可通过 JevClassifier 或 LLMClassifier 对状态提出是/否、选择与评分问题,并新增 TTSService.pronunciation_transform_ipa() 用词到 IPA 的映射控制专有名词发音。MOQTransport 增加客户端模式重连,断线后按退避重拨,MOQParams.connection_timeout 默认由 30 s 改为 60 s;同时弃用 UninterruptibleFrame、BaseUIWorker 等接口,将在 2.0.0 移除。
推荐理由:版本说明覆盖分类器、MOQ 重连与语音合成发音等多项能力变化,并列出弃用与移除项,便于评估升级影响。
AOMedia 视频 编码工作组发布 libaom v3.15(代号 Quibble Pants,发布 tag v3.15.1):完成 VOD 场景低复杂度解码模式的开发并支持 HD 分辨率编码,IntraBC 屏幕内容编码提速且允许用于实时模式,同时修复了近期由 AI 工具检出的多个安全问题;官方建议所有 libaom 用户与发行版维护者升级。
推荐理由:参考编码器的低复杂度解码模式走向实用,对带宽受限终端的 AV1 落地有直接价值。
Pion WebRTC 发布 v4.2.22,将 TCP mux 写缓冲设为 4 MB,并处理了媒体方向被省略的情况。该版本自上一版以来共合并 16 个提交到 main 分支。
综述系统梳理实时语音 Agent 的评测谱系:从 ASR/TTS 组件指标,到 VoiceBench、Full-Duplex-Bench v1.5/v2 等会话行为基准(覆盖重叠、打断、多轮与多说话人),再到以状态校验和任务完成为准的 agentic 评测,指出评估重心正从"系统说了什么"转向"在真实对话约束下做了什么"。
推荐理由:语音 Agent 评估方向的系统性综述,为搭建评测体系提供完整地图。
该基准构造 2000 个由 3–4 名真人说话者加一个助手组成的场景,以连续音频流(无转写、无轮次边界)评测助手的应答发起、答案准确、保持沉默与适时停说四项能力,并覆盖显式/隐式指涉配对;对 MiniCPM-o 4.5、Moshi、FLM-Audio、Voila、Freeze-Omni 五个开源系统的评测显示 MiniCPM-o 4.5 在三项能力上领先。
推荐理由:把全双工评测从双人对话推进到多方交互,直指语音 Agent 在群聊场景的核心缺陷。
Boson AI 发布 Higgs VoiceOver 插件,把 AI 配音放进视频剪辑器,由 Higgs TTS 3 驱动,每句旁白生成独立片段并自动排到时间线的配音轨上。它支持用标签控制情绪、语速和音效,自动生成词级时间轴字幕,用约十秒音频克隆自定义声音,覆盖 100 多种语言且同一句内可切换语言。该插件已在 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro 上线,Final Cut Pro 与 Windows 版本在开发中,使用自带 Boson API key 按量计费,价格为每千字符 0.015 美元。
推荐理由:面向剪辑工作流的 AI 配音插件,说明它如何把配音、字幕和声音克隆放进时间线,以及按量计费的成本口径。
SRS 发布 8.0 开发版首个版本 v8.0-d0,对应 8.0 dev0 与 v8.0.48,代码约 328208 行,并在 README 和 SRS 8.0 changelog 中加入该发布线。该版本提供源码包 srs-server-8.0-d0.tar.gz、CentOS7 x86_64 二进制包,以及 ossrs/srs:8、ossrs/srs:v8.0-d0、ossrs/srs:8.0.48 三个 Docker 镜像标签。
推荐理由:SRS 发布 8.0 开发版首个版本,给出了版本号、代码规模和 Docker 镜像标签,可据此判断升级节奏。
SRS 发布 v7.0-a1,即 7.0 alpha1 版本,对应版本号 v7.0.165,代码量 315306 行。该版本提供源码包 srs-server-7.0-a1.tar.gz 与 CentOS7 x86_64 二进制包,并已推送 Docker 镜像 ossrs/srs:7、ossrs/srs:v7.0-a1 和 ossrs/srs:7.0.165。
文章核查流传的 3x 回复率:该数字源自 Sendspark 营销内容、无公开方法学;方法学最透明的是 Salesloft 对 1.34 亿封邮件(含 450 万封带视频)的分析,打开率提升 16%、回复率提升 26%;文末给出 CRM 触发的 PAL 外联工作流。
文章介绍与能看、听并实时反驳的视频智能体演练高风险谈判,并列出谈判训练平台的评估要点。
文章面向企业培训团队说明 AI 角色扮演的运作方式、相对传统练习的优势与平台选型要点。
文章称语音智能体能筛选线索但看不到视觉信号,视频智能体以临场感补足销售会话式 AI 中影响成交的维度。
文章面向开发者梳理会话式视频 AI 的 API 类别、集成模式与生产化所需条件,覆盖 2026 年口径。
文章列出会话式 AI 进入生产前应核验的事项:加密标准、合规认证、提示注入防护与审计日志,面向企业部署方。
文章区分两类产物:预渲染生成器输出成品视频文件,实时引擎维持活对话,建议按是否需要双向互动选择架构。
Hume 对 Google Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 预览版进行独立评测,两款模型分列 Expressivity–Reliability 前沿评分第一、第二,达 0.920 和 0.914。相比 Gemini 3.1 Flash TTS,长文本稳定性得分从 1.22 升至 2.89 和 3.03(五分制),语音设计可控性领先,但说话人相似度与部分精细控制仍偏弱。
Meta Connect 2026 发布 Muse Realtime Avatar 与 Ray-Ban Meta Audio 两条实时 AI 交互产品线,前者把语音对话升级为带口型、表情和手势的可视化形象,后者是 349 美元起、43 克、10 月 13 日发货的无摄像头纯音频眼镜。Meta 称 Muse Realtime Avatar 通过自蒸馏把教师模型的 120 次调用压缩到 2 次,响应延迟约 870 毫秒,但仍处于 early preview,画面偶有扭曲模糊。
Safari Technology Preview 253 面向 macOS Golden Gate 和 macOS Tahoe 开放下载,包含 WebKit 320113@main 至 321067@main 之间的改动。本次更新新增样式来源滚动时间线全局匹配、东亚计数样式扩展数值范围、CSSContainerRule.conditions 及容器查询条件中使用 sibling-index() 和 sibling-count() 等支持,并修复了 VoiceOver 朗读 aria-keyshortcuts、动画时间线与网格布局等多项问题。
高通在骁龙峰会发布骁龙8至尊版Gen 6与骁龙8旗舰版Gen 6,旗舰版可本地运行300亿参数MoE模型并完成语音识别到合成的全链路Agent,标准版感知中枢支持2亿参数模型做个人速记与说话人区分,两款均内置实时降噪“语音气泡”。但MoE省的是计算量而非内存,300亿参数仍需量化压缩才能塞进手机,且芯片只处理麦克风收到的这段声音,跨设备传输的丢包、抖动与路径调度仍由声网SD-RTN这类实时网承担。
Cartesia 发布 Multilingual Voices,50+ 音色库音色原生支持最多 25 种语言,自建克隆音色也可扩展为多语言。每个语言和口音由母语者按评分标准审核,检查口音是否保持以及日期、数字、货币是否按当地方式朗读。用户可用同一 voice ID 搭配不同 locale 调用 TTS,或在仪表盘中为克隆音色最多添加 9 种新口音和语言。
Agora 面向语音 AI 开发者推出基于 Gemini 3.8 Flash TTS 的新一代语音能力,定位新一代对话式语音合成,服务其 ConvoAI/语音 Agent 场景。
推荐理由:声网接入 Google 新一代 TTS 模型,反映模型层与 RTE 平台层加速融合。
YouTube 在 Made on YouTube 2026 活动中宣布一批直播工具更新,聚焦粉丝赞助与自动配音等方向,延续其在直播互动与多语言能力上的投入。
推荐理由:YouTube 年度创作者大会的直播相关产品发布,代表其直播产品路线。
Mux 提出用帧、镜头、场景三级结构为视频 AI 工作流提供输入,以 Mux Robots 为例说明按问题选择粒度可减少送入视觉模型的图像量。一小时的 30fps 视频含 108,000 帧,逐帧分析既慢又贵;帧回答单个时刻的问题,镜头定位画面切换,场景圈定完整段落。Mux Video 的 Shots 功能通过比较相邻帧的视觉信号检测剪辑点,输出边界列表和每个镜头的代表图。
GStreamer Conference 2026 的初步演讲列表、摘要与讲者简介已公布,会议将于 2026 年 10 月 10-11 日在捷克布拉格举行,会后设 hackfest。议题涵盖 GStreamer 状态、Rust 版 MPEG-TS 解复用器、GstVA 与 GstVulkan 更新、WebRTC、GStreamer 2.0 讨论及 AI 相关工具等,注册与详情见会议官网。
TEN Framework 发布 0.11.73,新增 ASR 的 rtzr 流式扩展和 TTS 评审技能,并支持日志配置热重载。该版本还移除了 Cartesia TTS 的默认 output_format,修复了 codex_base_url、覆盖率 LLVM 工具链与 Rust nightly 对齐等问题。