跳到正文
9月2日周三
  1. Zoom Developer Blog28

    Zoom 推出基于 Video SDK 的 Web 远程医疗入门套件

    Zoom 发布开源 Web 远程医疗入门套件,基于 Zoom Video SDK 构建,覆盖医生与患者注册、预约、设备预览、视频问诊、聊天、屏幕共享、云录制、实时转写和 PDF 文件共享等核心流程。套件采用 Next.js 16、React 19 和 TypeScript,代码托管于 GitHub。官方声明该示例尚未按 HIPAA 合规设计或验证,未经独立安全与合规审查不得用于受保护健康信息。

  2. LiveKit Blog40

    用非生产部署测试你的语音 Agent

    LiveKit 推出非生产部署,让语音 Agent 以不同名称与生产环境并行运行,共用同一容器镜像、项目和密钥,创建只需一条命令。非生产部署空闲时休眠且不计费,但重新部署会立即中断活跃会话,且不支持回滚;需 livekit-agents 1.6 或 @livekit/agents 1.7.1 以上 SDK 才能接收呼叫。

9月1日周二
  1. Meta AI Research Blog74

    Meta 发布 Muse Voice Transcribe 实时语音感知模型

    Meta Superintelligence Labs 发布 Muse Voice Transcribe,一个实时音频感知模型,支持流式 ASR、20 人以上说话人分离和端点检测,原生处理 25 种以上语言并支持句内无缝语码转换。模型以 80ms 音频块(12.5 Hz)自回归处理,通过强化学习实现自适应延迟,在速度与准确率之间取得权衡;训练覆盖 70 多种语言,其中 25 种经过充分验证,并支持超过一小时的长音频输入。

    推荐理由:Meta 公布实时语音感知模型的流式 ASR、说话人分离与端点检测设计,可了解自适应延迟的取舍思路。

  2. LiveKit Blog71

    LiveKit 发布 Connectors,将 Twilio 和 WhatsApp 通话接入 LiveKit 房间

    LiveKit 发布 Connectors,把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间,无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC(ICE、DTLS-SRTP、Opus),Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布,仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用,计费与 SIP 相同,每分钟 0.004 美元(Ship)和 0.003 美元(Scale)。

    推荐理由:LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间,读者可据此判断现有 SIP 方案是否要改。

8月31日周一
  1. Inworld AI Blog70

    Inworld Realtime TTS-2 正式可用:听全上下文、自然语言导声、100+ 语言单一音色

    Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用(GA),面向实时对话设计:模型接收完整对话音频,感知用户的语气、节奏与情绪状态,并支持用自然语言像提示 LLM 一样下达 voice direction;同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。

    推荐理由:实时 TTS 从静态朗读转向双向对话的关键产品节点,100+ 语言音色一致性对全球化语音 Agent 影响直接。

8月28日周五
  1. Inworld AI Blog62

    Inworld 开源 TTS 评测工具包:配置随结果存档、分数可溯源到样例与 ASR 转写

    Inworld 开源 TTS Open Evaluation Toolkit:离线采样各 TTS 系统并生成可对比报告,每次运行把配置与逐样例测量一起存档,用户可从分数回溯到源文本、音频、ASR 转写与所用阈值;首发包含常见指标与一套专门的英语对话压力测试集。针对同模型不同团队测出不同 WER(因 ASR 选择、文本归一化、失败样例取舍)这一评测不可复现问题。

    推荐理由:直击 TTS 评测不可复现的痛点,把协议与测量绑定存档的做法对建立可比基准有实际价值。

  2. Netflix Technology Blog71

    Netflix 详解 MAPS:用多模态嵌入做大规模素材个性化

    Netflix 介绍 MAPS 多模态素材个性化系统,把 CLIP 图像嵌入与素材 ID 嵌入拼接,让模型在素材刚上线、几乎没有交互数据时就能个性化推荐。该做法把五个画布各自的模型合并为一个,在数据最少的 short-panel 与 landscape-panel 画布上收益最大;消融实验中只有图像嵌入与统一模型同时使用(V3)才在至少四周的线上 A/B 测试中取得显著提升,short-panel 离线 IPS 提升 5.691%。视频预览方面,融合视觉、音频与文本的 MediaFM 在五周 A/B 测试中优于仅用视觉的 SeqCLIP 和纯 ID 基线,已成为默认视频预览嵌入。

    推荐理由:Netflix 用 CLIP 与 MediaFM 多模态嵌入解决素材冷启动,并给出离线 IPS 与线性探针的评估取舍。

8月27日周四
  1. Daily.co Blog62

    Pipecat 发布 PhoneLLM Alpha 1 语音智能体开源模型与 PhoneBench v1 基准

    Pipecat 团队发布 PhoneLLM Alpha 1,一个面向语音智能体场景的开源权重模型,基于 NVIDIA Nemotron 3 Nano 30B-A3B 全参数微调,采用 MoE 架构、3.5B 激活参数,以 BSD 许可发布且无商用限制。官方称其表现与 GPT 5.6 Terra 相当,但成本低 94%、P95 首 token 时间快 1,300ms,单请求 TTFT P95 在 B200 上低于 100ms。同时发布 PhoneBench v1 基准,用 LLM 评审团评估电话智能体的说话风格、工具调用准确性与每分钟运行成本;权重已上线 HuggingFace,官方建议将 temperature 设为 0 并关闭 thinking。

    推荐理由:原文给出模型规格、延迟与成本测算方式,读者可据此判断自托管语音智能体是否划算。

8月25日周二
  1. Mux Blog34

    Mux 推出 Playing time by rendition:按码率版本统计观看时长

    Mux 在 Mux Data 仪表盘上线 Playing time by rendition,按播放器实际交付的码率版本统计观看时长,并已通过 API 提供。该指标按墙钟时间计算,暂停、重缓冲和拖动的时间不计入,播放速度不影响结果;仪表盘以堆叠柱状时间序列展示前 10 个版本及“其他”的占比,并支持按标题、国家、设备类别过滤和跨维度对比,还可自定义版本分组参数。

8月24日周一
  1. LiveKit Blog62

    LiveKit 解析语音智能体短语音应答失败的原因与排查方法

    LiveKit 发文梳理语音智能体对 yes、no、ok 等短语音应答失败的原因,指出回合结束需要 final_transcript 和 end_of_speech 两个事件同时满足,中间转写不会关闭回合。文章列举 STT 未生成最终转写、端点检测过于激进或过于宽松、噪声抑制误删短语音、SIP 通话质量差以及 backchannel 被误判为打断等成因,并给出对应做法,包括启用 transcription_timeout 做优雅恢复、turn_detection="stt" 时将 endpointing.min_delay 设为 0、按场景选择 voice isolation 或 background noise suppression、优先使用 G.722 等支持 HD voice 的编解码器,以及用自适应打断处理识别 backchannel。

    推荐理由:LiveKit 官方梳理短语音回合检测失败的常见成因,并给出可逐项排查的配置与恢复手段。

  2. Mux Blog62

    Mux 复盘基础码率阶梯:保留 270p 并新增 720p 后成本与画质如何变化

    Mux 将基础码率阶梯从 270p/480p/1080p 调整为 270p/480p/720p/1080p,于 4 月通过功能开关逐步上线。对比上线前后各一个月的数据,720p 交付分钟数从约十分之一升至约一半,480p 降至个位数百分比,270p 基本不变;每分钟交付字节增加约 6.5%,PTE 调优抵消近 5%,Video Quality Score 从 99.1 升至约 99.7,起播延迟改善、拖动延迟持平。Mux 曾评估删除 270p,实测折叠到 480p 的缓存效率收益有限,最极端情况仅打平,因此保留该档。

    推荐理由:Mux 用真实 CDN、存储与 QoE 数据复盘码率阶梯取舍,可迁移到自建转码阶梯的决策方法。

  3. LiveKit Blog27

    LiveKit 推出按秒计费,Agent 会话与录制、WebRTC 和 SIP 连接均适用

    LiveKit 将 Agent 会话分钟与录制、WebRTC 连接和 SIP 连接改为按秒计费,最低按 10 秒计费,适用于所有套餐与账户(含企业合同),无需技术改动。该调整已对现有客户生效,8 月用量将体现在 9 月账单中。LiveKit 称按分钟计费会限制外呼等短时场景的扩展,按秒计费可消除这种定价错配。

8月20日周四
  1. LiveKit Blog52

    LiveKit Agent Observability 推出 PII 脱敏功能

    LiveKit 为 Agent Observability 新增 PII 脱敏功能,在录音和转写文本存入前自动移除姓名、地址、生日等敏感信息,对使用该功能的客户不额外收费。脱敏用 LLM 按上下文识别,转写文本中的词替换为标记,轨迹和日志中的敏感字段直接丢弃;由于词级 ASR 时间戳并非在所有 STT 模型上都可靠,音频改为删除整个轮次并以提示音替代。目前支持 10 组共 41 类 PII,需使用 LiveKit Agents SDK Python 或 Node.js 1.7.0 版本,数据保留 30 天后自动删除。

    推荐理由:LiveKit 用 LLM 按上下文做 PII 脱敏,并说明音频整轮删除的取舍,可据此判断合规方案是否够用。

  2. Meta AI Research Blog28

    Meta 发布 Muse Spark 1.2 多模态评测结果:视觉编码、机器人与音视频理解

    Meta 公布 Muse Spark 1.2 的多模态评测结果与演示,该版本在模型可调用工具时多模态提升最明显,覆盖视觉编码、图表理解与知识密集型任务。视觉编码可将图像或视频转为可运行网页与游戏代码,机器人侧由高层规划模型配合基于小型 Muse 实验版本的 VLA 策略执行操作。Meta 同时预览内部评测 WildArtifactBench 并放出 10 个任务,Muse Spark 1.2 已在 Meta Model API 和 Muse Code 上线。

8月19日周三
8月18日周二
  1. LiveKit Blog34

    超越 1:1:用 LiveKit 构建多参与者机器人系统

    LiveKit 的 SFU 架构让机器人系统从点对点连接扩展为多参与者 Room,摄像头、模型、操作员和下游服务各作为一个参与者加入,无需重新设计传输架构。在跨网络的人机协同录制场景中,机器人观测可同时分发给策略、操作员和录制端,策略动作与人工干预各自独立回传,避免额外网络跳数。VLM 可作为任务级编排者,各技能策略以独立参与者订阅所需观测,奖励模型则按控制频率评估执行状态并驱动策略升级。

  2. 声网博客36

    ESP32 低资源设备如何做语音通话:内存、采样率与网络参数优化

    针对 ESP32、ESP32-S3 等低资源设备做语音通话,建议从 16 kHz、16 bit、单声道、20 ms 帧长起步,优先保证接通率与稳定性,再评估提升音质。声网 RTSA SDK 仅支持单声道、20 ms 发送间隔,包体积增量小于 400 KB,收发 320×240 H.264 时内存占用小于 2 MB,采集与编解码需设备端自行实现。

8月17日周一
  1. 声网博客62

    声网讲解游戏语音质量评估:接通率、卡顿率、延迟与弱网恢复的排查方法

    声网发布游戏语音质量评估方法,把语音可用拆成加入频道、发布订阅、音频播放等环节,建议接通率按进入队伍后 5 秒内成功加入频道并接收至少一名队友音频来统计,持续低于 98% 视为链路存在系统性问题。排查上先查频道、订阅和音频路由状态再查网络,用 audioLossRate、frozenRate、networkTransportDelay、jitterBufferDelay、e2eDelay 和 mosValue 区分网络卡顿与客户端卡顿,并给出首版质量看板的八项核心指标。

    推荐理由:声网把游戏语音质量拆成接通率、卡顿率、延迟和弱网恢复四类指标,并给出可复用的排查顺序与看板指标。

8月16日周日
8月14日周五
  1. LiveKit Blog40

    LiveKit 如何处理零数据保留(ZDR):全平台模型默认不保留、不训练

    LiveKit 宣布其 Inference 中所有 LLM、STT、TTS 模型默认启用零数据保留(ZDR),适用于所有套餐,无需开关或升级配置。ZDR 要求不保留、不记录日志、不训练、不聚合,LiveKit 通过合同、账户或工作区配置及逐请求参数强制第三方提供商遵守,不达标者不予接入。Agent 可观测性数据保留 30 天,Egress 录制存入用户自有云存储,语音克隆样本在最后使用 12 个月后删除。

8月13日周四
  1. LiveKit Blog62

    LiveKit Agents 推出 expressive mode,让语音智能体按对话情绪调整语气

    LiveKit 在 LiveKit Agents 中发布 expressive mode,用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言,由框架统一转换,并会把多句合并成更大块再送入 TTS,以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型,前端可通过 lk.expression 属性获取情绪信号。

    推荐理由:LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记,并给出开启方式与前端联动做法。

8月12日周三
  1. 声网博客62

    声网拆解游戏语音卡顿排查:从玩家反馈到 RTC 指标的质量监控方法

    声网发布游戏语音质量监控方法,把语音可用链路拆成开启语音、获取频道信息、加入频道、发布订阅、音频播放五个时间点,建议接通率以最后必要环节为准,持续低于 98% 通常说明存在系统性问题。文章结合 Unity RTC 回调给出排查顺序:听不到先查频道、OnRemoteAudioStateChanged 订阅状态和音频路由,再查网络;卡顿用 OnRemoteAudioStats 的 audioLossRate、frozenRate、jitterBufferDelay、e2eDelay 和 mosValue 区分网络与客户端问题,并建议质量看板先保留接通率、可听首帧时间、卡顿率、端到端延迟 P95 等八项指标。

    推荐理由:声网结合自家 Unity RTC 回调,把游戏语音从玩家反馈到指标看板的排查链路拆成可落地步骤。

8月11日周二
  1. Cartesia Blog58

    Ink-2 新增关键词提示与可配置轮次检测:专有名词转写更准

    Cartesia 为流式 STT 模型 Ink-2 发布两项功能:keyterm prompting 支持最多 100 个关键词(共 1200 字符)无额外延迟地提升品牌名、药名等实体转写,可配置 turn detection 则允许在端点检测的速度与准确率间调优,并给出 Earnings22 关键词召回数据。

    推荐理由:面向语音 Agent 实战的 STT 能力增强,关键词提示是行业普遍痛点。

8月9日周日
  1. Cactus Engineering Blog36

    Needle 2:面向微型设备的 14 MB 智能体 LLM

    Cactus 发布 Needle 2,一个 45M 参数的开源模型,用于工具调用、设备操作和结构化抽取,整个模型是单个 14MB 二进制文件,会话内存约 28MB。它在 Raspberry Pi 5 上解码达 500 tokens/sec,在 Meta Quest 3S、Apple Vision Pro 等 VR 设备上为 400–1,500 tokens/sec,并可运行于 ESP32-S3 等较新微控制器。模型采用 CQ2-bit 量化,从预训练到后训练全程针对 Cactus Quants 训练,并支持在 Mac/PC 上微调。

8月6日周四
  1. 腾讯云音视频专区66

    腾讯云弱网实战:FEC 不均等保护与 Jitter Buffer 调深

    以东南亚移动热点(丢包 8%-15%)客户案例切入:丢包超 5% 时 MOS 从 4.2 降到 3.0 以下、端到端超 400ms 对话节奏被破坏、抖动超 30ms 音频变调;工程上采用 ULPFEC 不均等保护(I 帧与音频 30%-50% 冗余、P 帧 10%-20%,20% 丢包下恢复率约 70%)、动态 Jitter Buffer 在 80-200ms 间伸缩,并观察到 BBR 在移动网络带宽突降时收敛比 GCC 快约 1.5 倍。

    推荐理由:有案例、有阈值、有参数取舍的弱网优化实战记录,FEC 分级与缓冲策略可直接借用。

8月5日周三
  1. Hugging Face Speech-to-Speech Releases58

    Hugging Face speech-to-speech v0.2.12:Smart Turn v3.2 端点检测与 OpenAI Realtime 的 WebRTC 传输

    speech-to-speech 0.2.x 线的收官版本:Realtime 模式默认启用量化 CPU 版 Smart Turn v3.2 区分完整话轮与思考中停顿(可用 --no_smart_turn 回退 Silero);为 OpenAI Realtime API 新增 WebRTC 传输,在 POST /v1/realtime/calls 做 SDP 协商,RTP 音频与 oai-events 数据通道与 WebSocket 共享同一管线池;并支持 --stt none 直接把 VAD 音频喂给带音频能力的 LLM。

    推荐理由:0.2.x 收官版集中落地话轮检测与 WebRTC 传输两项语音 Agent 关键能力,是 v1.0 之前的稳定基线。

  2. LiveKit Blog62

    LiveKit 解析 agent 加入房间慢的原因与排查方法

    LiveKit 官方文章聚焦 agent 加入延迟,即后端请求 agent 到 agent 就绪进入房间的时间,并指出用户侧表现为持续响铃、静音、头像黑屏、客户端超时或提前离开。文章列出常见原因:LiveKit Cloud 上 Build 计划会缩容到零导致冷启动,自托管需维护预热进程池并调整 num_idle_processes,入口点阻塞代码和过大的容器镜像也会拖慢加入,虚拟形象会额外增加一个参会者并处于关键路径上。排查时可记录显式 dispatch 前与 await ctx.connect() 返回后的时间戳,并通过 job metadata 传递 ID 关联两条日志。

    推荐理由:LiveKit 官方拆解 agent 加入房间延迟的成因与排查路径,自托管团队可据此定位冷启动和扩容问题。

8月4日周二
  1. 声网博客22

    智能硬件语音交互架构解析:麦克风、RTC、ASR、LLM、TTS 全链路

    智能硬件语音交互的体验瓶颈往往不在 LLM,而在麦克风采集、回声消除、RTC 实时传输、流式 ASR、TTS 播放与打断控制等基础环节。文章拆解了从采集、前处理、实时传输到 ASR、LLM、TTS、播放与打断的完整链路,指出 RTC 是弱网下保持语音连续的关键通道,并建议量产前按真实场景验证麦克风、弱网重连、儿童语音与云端成本。

  2. 腾讯云音视频专区50

    腾讯云社区:私域直播低延迟优化指南,从协议选型到播放器缓冲的分层实践

    文章按场景区分延迟容忍度(课程类几秒可接受、答题/竞拍需更低),给出 RTMP 推流、HLS/HTTP-FLV 播放与 WebRTC 互动的选型组合,并强调 GOP 长度控制、减少转码层级、播放器缓冲区在"延迟与卡顿"间取平衡,以及首屏时间、卡顿率、丢帧率等监控指标。

8月3日周一
  1. Mux Blog66

    Mux 自建 CDN 路由:每分钟探测,选路 p99 做到 9.9ms

    Mux 停用第三方 RUM 选路,改为自建 CDN Router:每秒级探测节奏是对每家 CDN 与 4 个源站每 60 秒探测一轮,结果写入跨区域 CockroachDB(原始探测、决策与 CDN 实时用量),leader 每分钟基于最近 5 分钟数据判定各区域“足够好”的 CDN,请求路径只做 IP 定位 + 查表 + 加权随机排序,官方称选路 p99 为 9.9ms;同时把冗余流(redundant streams)从 opt-in 改为 opt-out,播放器可在流中途切换 CDN。

    推荐理由:多 CDN 选路的完整工程复盘,含探测频率、决策窗口、p99 与冗余流默认开启策略。

7月31日周五
  1. Netflix Technology Blog22

    Netflix 如何为分析建模设备能力

    Netflix 构建了设备能力数据模型并接入内部系统的功能开关,用于在全球设备生态中做更细粒度的功能管理。其累积表记录每台设备的最新能力状态(如屏幕分辨率、支持的视频 Profile、环绕声、RAM 大小),直方图表则统计过去 28 天内按设备型号和软件版本划分的活跃设备数及能力支持情况。示例数据显示,某类流媒体棒设备全部支持 HD profile(playready),仅 20% 支持 UHD profile(hevc)。

7月30日周四
  1. 声网博客22

    旅游高峰期的 AI 语音助手:如何接住暴涨的咨询量

    声网对话式 AI 引擎为旅游平台 AI 语音助手提供实时交互底座,端到端响应延迟可低至 650 ms,打断响应 340 ms,选择性注意力锁定可屏蔽 95% 的环境人声和噪声干扰。该引擎在 80% 丢包率下仍可维持语音对话,断网 3 至 5 秒时也能继续处理连接恢复后的交互,酒店政策、订单状态等业务数据仍由平台自有系统提供。

7月29日周三
7月28日周二
  1. Cartesia Blog38

    TTS 模型好不好?为什么语音合成评测随模型进步而失效,以及如何衡量真正重要的指标

    Cartesia 发文分析 TTS 评测为何随模型进步而失效:语音合成是一对多映射,同一文本可有兴奋、愤怒、悲伤、讽刺等多种正确读法,WER 在可懂度解决后趋于饱和,且受 ASR 质量牵制。评测还需覆盖上下文正确性、文本规范化与专有名词读音,这些错误即使语音流畅也难以察觉。

7月27日周一
7月22日周三
  1. 声网博客62

    声网拆解 Voice Agent 延迟:STT、LLM、TTS 与 VAD 的可观测指标

    声网把 Voice Agent 的端到端延迟拆成 RTC 延迟、算法前处理延迟、ASR 延迟、LLM 延迟和 TTS 延迟,启用数字人时再加渲染延迟,并给出各段典型范围,如 RTC 150-300 ms、ASR 末字延迟 400-700 ms、LLM 首字节 250-1000 ms、TTS 首字节 100-350 ms。文章建议按轮次记录 session_id、turn_id、asr_final_ts、llm_first_token_ts、tts_first_audio_ts、interrupt_detect_ts 等字段,并分别观测 ASR 的 TTLW 与 WER、LLM 的 TTFB 与 TTFS、TTS 首帧音频、VAD 的起止检测延迟和打断成功率。选型阶段可用声网 AI 模型评测平台对比 ASR、LLM、TTS 组合的 P50、P90、P99 延迟与成本,上线后再用会话级 trace 定位瓶颈。

    推荐理由:把 Voice Agent 的端到端延迟拆成 RTC、ASR、LLM、TTS、VAD 各段,并给出可采集的会话字段与仪表盘结构,适合直接对照搭建观测体系。