Zoom 推出基于 Video SDK 的 Web 远程医疗入门套件
Zoom 发布开源 Web 远程医疗入门套件,基于 Zoom Video SDK 构建,覆盖医生与患者注册、预约、设备预览、视频问诊、聊天、屏幕共享、云录制、实时转写和 PDF 文件共享等核心流程。套件采用 Next.js 16、React 19 和 TypeScript,代码托管于 GitHub。官方声明该示例尚未按 HIPAA 合规设计或验证,未经独立安全与合规审查不得用于受保护健康信息。
Zoom 发布开源 Web 远程医疗入门套件,基于 Zoom Video SDK 构建,覆盖医生与患者注册、预约、设备预览、视频问诊、聊天、屏幕共享、云录制、实时转写和 PDF 文件共享等核心流程。套件采用 Next.js 16、React 19 和 TypeScript,代码托管于 GitHub。官方声明该示例尚未按 HIPAA 合规设计或验证,未经独立安全与合规审查不得用于受保护健康信息。
LiveKit 推出非生产部署,让语音 Agent 以不同名称与生产环境并行运行,共用同一容器镜像、项目和密钥,创建只需一条命令。非生产部署空闲时休眠且不计费,但重新部署会立即中断活跃会话,且不支持回滚;需 livekit-agents 1.6 或 @livekit/agents 1.7.1 以上 SDK 才能接收呼叫。
AWS Elemental MediaConnect Router 支持跨区域路由、自动源故障切换和包级源合并,可构建三种冗余架构:单管线约 99.7%、双管线约 99.999%、带交叉连接的双管线约 99.9999% 可用性。交叉连接需使用带两路输入的标准(双管线)MediaLive 通道,且依赖自动化跨区域 take action 工具。
Meta Superintelligence Labs 发布 Muse Voice Transcribe,一个实时音频感知模型,支持流式 ASR、20 人以上说话人分离和端点检测,原生处理 25 种以上语言并支持句内无缝语码转换。模型以 80ms 音频块(12.5 Hz)自回归处理,通过强化学习实现自适应延迟,在速度与准确率之间取得权衡;训练覆盖 70 多种语言,其中 25 种经过充分验证,并支持超过一小时的长音频输入。
推荐理由:Meta 公布实时语音感知模型的流式 ASR、说话人分离与端点检测设计,可了解自适应延迟的取舍思路。
LiveKit 发布 Connectors,把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间,无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC(ICE、DTLS-SRTP、Opus),Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布,仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用,计费与 SIP 相同,每分钟 0.004 美元(Ship)和 0.003 美元(Scale)。
推荐理由:LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间,读者可据此判断现有 SIP 方案是否要改。
Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用(GA),面向实时对话设计:模型接收完整对话音频,感知用户的语气、节奏与情绪状态,并支持用自然语言像提示 LLM 一样下达 voice direction;同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。
推荐理由:实时 TTS 从静态朗读转向双向对话的关键产品节点,100+ 语言音色一致性对全球化语音 Agent 影响直接。
Inworld 开源 TTS Open Evaluation Toolkit:离线采样各 TTS 系统并生成可对比报告,每次运行把配置与逐样例测量一起存档,用户可从分数回溯到源文本、音频、ASR 转写与所用阈值;首发包含常见指标与一套专门的英语对话压力测试集。针对同模型不同团队测出不同 WER(因 ASR 选择、文本归一化、失败样例取舍)这一评测不可复现问题。
推荐理由:直击 TTS 评测不可复现的痛点,把协议与测量绑定存档的做法对建立可比基准有实际价值。
Netflix 介绍 MAPS 多模态素材个性化系统,把 CLIP 图像嵌入与素材 ID 嵌入拼接,让模型在素材刚上线、几乎没有交互数据时就能个性化推荐。该做法把五个画布各自的模型合并为一个,在数据最少的 short-panel 与 landscape-panel 画布上收益最大;消融实验中只有图像嵌入与统一模型同时使用(V3)才在至少四周的线上 A/B 测试中取得显著提升,short-panel 离线 IPS 提升 5.691%。视频预览方面,融合视觉、音频与文本的 MediaFM 在五周 A/B 测试中优于仅用视觉的 SeqCLIP 和纯 ID 基线,已成为默认视频预览嵌入。
推荐理由:Netflix 用 CLIP 与 MediaFM 多模态嵌入解决素材冷启动,并给出离线 IPS 与线性探针的评估取舍。
Sonic-3.6 在 15 个语言环境的盲测对比中对 Sonic-3.5 最高获得 93% 听者偏好,发布距 3.5 仅两个月,并登顶 Artificial Analysis 排行榜受控与 provider 双榜第一。
推荐理由:TTS 头部产品高频迭代且数据扎实,反映语音生成竞争白热化。
Pipecat 团队发布 PhoneLLM Alpha 1,一个面向语音智能体场景的开源权重模型,基于 NVIDIA Nemotron 3 Nano 30B-A3B 全参数微调,采用 MoE 架构、3.5B 激活参数,以 BSD 许可发布且无商用限制。官方称其表现与 GPT 5.6 Terra 相当,但成本低 94%、P95 首 token 时间快 1,300ms,单请求 TTFT P95 在 B200 上低于 100ms。同时发布 PhoneBench v1 基准,用 LLM 评审团评估电话智能体的说话风格、工具调用准确性与每分钟运行成本;权重已上线 HuggingFace,官方建议将 temperature 设为 0 并关闭 thinking。
推荐理由:原文给出模型规格、延迟与成本测算方式,读者可据此判断自托管语音智能体是否划算。
Mux 在 Mux Data 仪表盘上线 Playing time by rendition,按播放器实际交付的码率版本统计观看时长,并已通过 API 提供。该指标按墙钟时间计算,暂停、重缓冲和拖动的时间不计入,播放速度不影响结果;仪表盘以堆叠柱状时间序列展示前 10 个版本及“其他”的占比,并支持按标题、国家、设备类别过滤和跨维度对比,还可自定义版本分组参数。
LiveKit 发文梳理语音智能体对 yes、no、ok 等短语音应答失败的原因,指出回合结束需要 final_transcript 和 end_of_speech 两个事件同时满足,中间转写不会关闭回合。文章列举 STT 未生成最终转写、端点检测过于激进或过于宽松、噪声抑制误删短语音、SIP 通话质量差以及 backchannel 被误判为打断等成因,并给出对应做法,包括启用 transcription_timeout 做优雅恢复、turn_detection="stt" 时将 endpointing.min_delay 设为 0、按场景选择 voice isolation 或 background noise suppression、优先使用 G.722 等支持 HD voice 的编解码器,以及用自适应打断处理识别 backchannel。
推荐理由:LiveKit 官方梳理短语音回合检测失败的常见成因,并给出可逐项排查的配置与恢复手段。
Mux 将基础码率阶梯从 270p/480p/1080p 调整为 270p/480p/720p/1080p,于 4 月通过功能开关逐步上线。对比上线前后各一个月的数据,720p 交付分钟数从约十分之一升至约一半,480p 降至个位数百分比,270p 基本不变;每分钟交付字节增加约 6.5%,PTE 调优抵消近 5%,Video Quality Score 从 99.1 升至约 99.7,起播延迟改善、拖动延迟持平。Mux 曾评估删除 270p,实测折叠到 480p 的缓存效率收益有限,最极端情况仅打平,因此保留该档。
推荐理由:Mux 用真实 CDN、存储与 QoE 数据复盘码率阶梯取舍,可迁移到自建转码阶梯的决策方法。
LiveKit 将 Agent 会话分钟与录制、WebRTC 连接和 SIP 连接改为按秒计费,最低按 10 秒计费,适用于所有套餐与账户(含企业合同),无需技术改动。该调整已对现有客户生效,8 月用量将体现在 9 月账单中。LiveKit 称按分钟计费会限制外呼等短时场景的扩展,按秒计费可消除这种定价错配。
LiveKit 为 Agent Observability 新增 PII 脱敏功能,在录音和转写文本存入前自动移除姓名、地址、生日等敏感信息,对使用该功能的客户不额外收费。脱敏用 LLM 按上下文识别,转写文本中的词替换为标记,轨迹和日志中的敏感字段直接丢弃;由于词级 ASR 时间戳并非在所有 STT 模型上都可靠,音频改为删除整个轮次并以提示音替代。目前支持 10 组共 41 类 PII,需使用 LiveKit Agents SDK Python 或 Node.js 1.7.0 版本,数据保留 30 天后自动删除。
推荐理由:LiveKit 用 LLM 按上下文做 PII 脱敏,并说明音频整轮删除的取舍,可据此判断合规方案是否够用。
Meta 公布 Muse Spark 1.2 的多模态评测结果与演示,该版本在模型可调用工具时多模态提升最明显,覆盖视觉编码、图表理解与知识密集型任务。视觉编码可将图像或视频转为可运行网页与游戏代码,机器人侧由高层规划模型配合基于小型 Muse 实验版本的 VLA 策略执行操作。Meta 同时预览内部评测 WildArtifactBench 并放出 10 个任务,Muse Spark 1.2 已在 Meta Model API 和 Muse Code 上线。
NVIDIA 发布 Nemotron Voice Agent v2.1.0 更新,重点提升多语种声音能力与对话轮次判断,声网对其面向语音 Agent 场景的演进做了梳理。
推荐理由:NVIDIA 语音 Agent 栈的版本演进动态,反映芯片厂商在语音 AI 栈上的发力方向。
LiveKit 的 SFU 架构让机器人系统从点对点连接扩展为多参与者 Room,摄像头、模型、操作员和下游服务各作为一个参与者加入,无需重新设计传输架构。在跨网络的人机协同录制场景中,机器人观测可同时分发给策略、操作员和录制端,策略动作与人工干预各自独立回传,避免额外网络跳数。VLM 可作为任务级编排者,各技能策略以独立参与者订阅所需观测,奖励模型则按控制频率评估执行状态并驱动策略升级。
针对 ESP32、ESP32-S3 等低资源设备做语音通话,建议从 16 kHz、16 bit、单声道、20 ms 帧长起步,优先保证接通率与稳定性,再评估提升音质。声网 RTSA SDK 仅支持单声道、20 ms 发送间隔,包体积增量小于 400 KB,收发 320×240 H.264 时内存占用小于 2 MB,采集与编解码需设备端自行实现。
声网发布游戏语音质量评估方法,把语音可用拆成加入频道、发布订阅、音频播放等环节,建议接通率按进入队伍后 5 秒内成功加入频道并接收至少一名队友音频来统计,持续低于 98% 视为链路存在系统性问题。排查上先查频道、订阅和音频路由状态再查网络,用 audioLossRate、frozenRate、networkTransportDelay、jitterBufferDelay、e2eDelay 和 mosValue 区分网络卡顿与客户端卡顿,并给出首版质量看板的八项核心指标。
推荐理由:声网把游戏语音质量拆成接通率、卡顿率、延迟和弱网恢复四类指标,并给出可复用的排查顺序与看板指标。
Tavus 推出 Deployments 功能,可将构建好的 PAL 发布到实际业务场景对外使用,由 CEO Hassaan Raza 宣布,补齐从创建到上线的环节。
推荐理由:Tavus PAL 产品链路的关键一环,从开发工具走向可交付应用。
LiveKit 宣布其 Inference 中所有 LLM、STT、TTS 模型默认启用零数据保留(ZDR),适用于所有套餐,无需开关或升级配置。ZDR 要求不保留、不记录日志、不训练、不聚合,LiveKit 通过合同、账户或工作区配置及逐请求参数强制第三方提供商遵守,不达标者不予接入。Agent 可观测性数据保留 30 天,Egress 录制存入用户自有云存储,语音克隆样本在最后使用 12 个月后删除。
Cactus 在智能家居、客服、外勤、邮件、会议、费用审批六类环境共跑 6120 次测试,验证工具命名、描述、枚举、约束与重叠度对小模型函数调用的影响,形成一套环境设计规则。
LiveKit 在 LiveKit Agents 中发布 expressive mode,用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言,由框架统一转换,并会把多句合并成更大块再送入 TTS,以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型,前端可通过 lk.expression 属性获取情绪信号。
推荐理由:LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记,并给出开启方式与前端联动做法。
声网发布游戏语音质量监控方法,把语音可用链路拆成开启语音、获取频道信息、加入频道、发布订阅、音频播放五个时间点,建议接通率以最后必要环节为准,持续低于 98% 通常说明存在系统性问题。文章结合 Unity RTC 回调给出排查顺序:听不到先查频道、OnRemoteAudioStateChanged 订阅状态和音频路由,再查网络;卡顿用 OnRemoteAudioStats 的 audioLossRate、frozenRate、jitterBufferDelay、e2eDelay 和 mosValue 区分网络与客户端问题,并建议质量看板先保留接通率、可听首帧时间、卡顿率、端到端延迟 P95 等八项指标。
推荐理由:声网结合自家 Unity RTC 回调,把游戏语音从玩家反馈到指标看板的排查链路拆成可落地步骤。
Cartesia 为流式 STT 模型 Ink-2 发布两项功能:keyterm prompting 支持最多 100 个关键词(共 1200 字符)无额外延迟地提升品牌名、药名等实体转写,可配置 turn detection 则允许在端点检测的速度与准确率间调优,并给出 Earnings22 关键词召回数据。
推荐理由:面向语音 Agent 实战的 STT 能力增强,关键词提示是行业普遍痛点。
Cactus 发布 Needle 2,一个 45M 参数的开源模型,用于工具调用、设备操作和结构化抽取,整个模型是单个 14MB 二进制文件,会话内存约 28MB。它在 Raspberry Pi 5 上解码达 500 tokens/sec,在 Meta Quest 3S、Apple Vision Pro 等 VR 设备上为 400–1,500 tokens/sec,并可运行于 ESP32-S3 等较新微控制器。模型采用 CQ2-bit 量化,从预训练到后训练全程针对 Cactus Quants 训练,并支持在 Mac/PC 上微调。
以东南亚移动热点(丢包 8%-15%)客户案例切入:丢包超 5% 时 MOS 从 4.2 降到 3.0 以下、端到端超 400ms 对话节奏被破坏、抖动超 30ms 音频变调;工程上采用 ULPFEC 不均等保护(I 帧与音频 30%-50% 冗余、P 帧 10%-20%,20% 丢包下恢复率约 70%)、动态 Jitter Buffer 在 80-200ms 间伸缩,并观察到 BBR 在移动网络带宽突降时收敛比 GCC 快约 1.5 倍。
推荐理由:有案例、有阈值、有参数取舍的弱网优化实战记录,FEC 分级与缓冲策略可直接借用。
speech-to-speech 0.2.x 线的收官版本:Realtime 模式默认启用量化 CPU 版 Smart Turn v3.2 区分完整话轮与思考中停顿(可用 --no_smart_turn 回退 Silero);为 OpenAI Realtime API 新增 WebRTC 传输,在 POST /v1/realtime/calls 做 SDP 协商,RTP 音频与 oai-events 数据通道与 WebSocket 共享同一管线池;并支持 --stt none 直接把 VAD 音频喂给带音频能力的 LLM。
推荐理由:0.2.x 收官版集中落地话轮检测与 WebRTC 传输两项语音 Agent 关键能力,是 v1.0 之前的稳定基线。
LiveKit 官方文章聚焦 agent 加入延迟,即后端请求 agent 到 agent 就绪进入房间的时间,并指出用户侧表现为持续响铃、静音、头像黑屏、客户端超时或提前离开。文章列出常见原因:LiveKit Cloud 上 Build 计划会缩容到零导致冷启动,自托管需维护预热进程池并调整 num_idle_processes,入口点阻塞代码和过大的容器镜像也会拖慢加入,虚拟形象会额外增加一个参会者并处于关键路径上。排查时可记录显式 dispatch 前与 await ctx.connect() 返回后的时间戳,并通过 job metadata 传递 ID 关联两条日志。
推荐理由:LiveKit 官方拆解 agent 加入房间延迟的成因与排查路径,自托管团队可据此定位冷启动和扩容问题。
智能硬件语音交互的体验瓶颈往往不在 LLM,而在麦克风采集、回声消除、RTC 实时传输、流式 ASR、TTS 播放与打断控制等基础环节。文章拆解了从采集、前处理、实时传输到 ASR、LLM、TTS、播放与打断的完整链路,指出 RTC 是弱网下保持语音连续的关键通道,并建议量产前按真实场景验证麦克风、弱网重连、儿童语音与云端成本。
声网对曝光的微软 MAI Realtime 语音模型进行拆解,聚焦其全双工语音交互、17 种语言支持与低延迟打断等关键特性,属实时语音模型竞品观察。
推荐理由:对头部厂商实时语音模型的技术观察,有助于判断全双工语音模型竞争格局。
文章按场景区分延迟容忍度(课程类几秒可接受、答题/竞拍需更低),给出 RTMP 推流、HLS/HTTP-FLV 播放与 WebRTC 互动的选型组合,并强调 GOP 长度控制、减少转码层级、播放器缓冲区在"延迟与卡顿"间取平衡,以及首屏时间、卡顿率、丢帧率等监控指标。
Mux 停用第三方 RUM 选路,改为自建 CDN Router:每秒级探测节奏是对每家 CDN 与 4 个源站每 60 秒探测一轮,结果写入跨区域 CockroachDB(原始探测、决策与 CDN 实时用量),leader 每分钟基于最近 5 分钟数据判定各区域“足够好”的 CDN,请求路径只做 IP 定位 + 查表 + 加权随机排序,官方称选路 p99 为 9.9ms;同时把冗余流(redundant streams)从 opt-in 改为 opt-out,播放器可在流中途切换 CDN。
推荐理由:多 CDN 选路的完整工程复盘,含探测频率、决策窗口、p99 与冗余流默认开启策略。
Netflix 构建了设备能力数据模型并接入内部系统的功能开关,用于在全球设备生态中做更细粒度的功能管理。其累积表记录每台设备的最新能力状态(如屏幕分辨率、支持的视频 Profile、环绕声、RAM 大小),直方图表则统计过去 28 天内按设备型号和软件版本划分的活跃设备数及能力支持情况。示例数据显示,某类流媒体棒设备全部支持 HD profile(playready),仅 20% 支持 UHD profile(hevc)。
声网对话式 AI 引擎为旅游平台 AI 语音助手提供实时交互底座,端到端响应延迟可低至 650 ms,打断响应 340 ms,选择性注意力锁定可屏蔽 95% 的环境人声和噪声干扰。该引擎在 80% 丢包率下仍可维持语音对话,断网 3 至 5 秒时也能继续处理连接恢复后的交互,酒店政策、订单状态等业务数据仍由平台自有系统提供。
Tavus 推出 PAL Maker,用户可创建具备看、听、记忆能力的 PAL(人格化应用层)并投入实际使用,由 CEO Hassaan Raza 宣布。
推荐理由:Tavus 产品线的关键发布,标志其从 CVI API 向终端应用层扩展。
Cartesia 发文分析 TTS 评测为何随模型进步而失效:语音合成是一对多映射,同一文本可有兴奋、愤怒、悲伤、讽刺等多种正确读法,WER 在可懂度解决后趋于饱和,且受 ASR 质量牵制。评测还需覆盖上下文正确性、文本规范化与专有名词读音,这些错误即使语音流畅也难以察觉。
声网开发者社区发布用 Go 与 Gin 搭建对话式语音智能体服务端的快速上手教程,覆盖服务端与声网 ConvoAI 能力的对接流程。
推荐理由:Go 生态语音 Agent 服务端教程在中文社区偏少,实用性强。
声网把 Voice Agent 的端到端延迟拆成 RTC 延迟、算法前处理延迟、ASR 延迟、LLM 延迟和 TTS 延迟,启用数字人时再加渲染延迟,并给出各段典型范围,如 RTC 150-300 ms、ASR 末字延迟 400-700 ms、LLM 首字节 250-1000 ms、TTS 首字节 100-350 ms。文章建议按轮次记录 session_id、turn_id、asr_final_ts、llm_first_token_ts、tts_first_audio_ts、interrupt_detect_ts 等字段,并分别观测 ASR 的 TTLW 与 WER、LLM 的 TTFB 与 TTFS、TTS 首帧音频、VAD 的起止检测延迟和打断成功率。选型阶段可用声网 AI 模型评测平台对比 ASR、LLM、TTS 组合的 P50、P90、P99 延迟与成本,上线后再用会话级 trace 定位瓶颈。
推荐理由:把 Voice Agent 的端到端延迟拆成 RTC、ASR、LLM、TTS、VAD 各段,并给出可采集的会话字段与仪表盘结构,适合直接对照搭建观测体系。