speech-to-speech 项目发布首个大版本 v1.0.0，整合为 serve、talk、local 三个命令，新增 Qwen3-ASR 识别、OpenAI 兼容 STT/TTS 端点、有状态 OpenAI Realtime 转写与实验性 vLLM Realtime 转写，并改进文本/音频/工具调用的有序输出、打断与 会话清理。浏览器演示基于 OpenAI Agents SDK，覆盖 WebSocket 与 WebRTC 两种传输的集成测试，Apple Silicon 默认改用 4-bit Qwen3-4B LLM 与 6-bit Qwen3-TTS。
推荐理由：开源全栈语音对话管线的 1.0 里程碑，命令行与后端生态明显收敛，适合做语音 Agent 自建参考。
以 RAG 检索 top_k 取舍为例讲解 precision/recall 权衡：top-3 高精确低召回、top-50 高召回低噪声风险，指出模型可以靠什么都不做拿到 90% 准确率，因此语音 AI 评估需要更诚实的指标。
Eluvio 用 Content Fabric 零拷贝架构为一家美国一线转播商流式分发全部 104 场世界杯比赛，宣称 DTC 流领先卫星转播 7–10 秒、领先最优流媒体服务 15–25 秒且全球一致；B2B 转播馈送在美国境内低于 20ms，输入仍是 SRT/TS/RTMP、输出保持标准 DASH/HLS。
推荐理由：大规模体育直播 ultra-low-latency 的罕见公开量化数据，挑战传统 cloud+CDN 架构的成本与延迟假设。
Zoom 发布开源 Web 远程医疗入门套件，基于 Zoom Video SDK 构建，覆盖医生与患者注册、预约、设备预览、视频问诊、聊天、屏幕共享、云录制、实时转写和 PDF 文件共享等核心流程。套件采用 Next.js 16、React 19 和 TypeScript，代码托管于 GitHub。官方声明该示例尚未按 HIPAA 合规设计或验证，未经独立安全与合规审查不得用于受保护健康信息。
LiveKit 推出非生产部署，让语音 Agent 以不同名称与生产环境并行运行，共用同一容器镜像、项目和密钥，创建只需一条命令。非生产部署空闲时休眠且不计费，但重新部署会立即中断活跃会话，且不支持回滚；需 livekit-agents 1.6 或 @livekit/agents 1.7.1 以上 SDK 才能接收呼叫。
AWS Elemental MediaConnect Router 支持跨区域路由、自动源故障切换和包级源合并，可构建三种冗余架构：单管线约 99.7%、双管线约 99.999%、带交叉连接的双管线约 99.9999% 可用性。交叉连接需使用带两路输入的标准（双管线）MediaLive 通道，且依赖自动化跨区域 take action 工具。
Meta Superintelligence Labs 发布 Muse Voice Transcribe，一个实时音频感知模型，支持流式 ASR、20 人以上说话人分离和端点检测，原生处理 25 种以上语言并支持句内无缝语码转换。模型以 80ms 音频块（12.5 Hz）自回归处理，通过强化学习实现自适应延迟，在速度与准确率之间取得权衡；训练覆盖 70 多种语言，其中 25 种经过充分验证，并支持超过一小时的长音频输入。
推荐理由：Meta 公布实时语音感知模型的流式 ASR、说话人分离与端点检测设计，可了解自适应延迟的取舍思路。
LiveKit 发布 Connectors，把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间，无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC（ICE、DTLS-SRTP、Opus），Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布，仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用，计费与 SIP 相同，每分钟 0.004 美元（Ship）和 0.003 美元（Scale）。
推荐理由：LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间，读者可据此判断现有 SIP 方案是否要改。
Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用（GA），面向实时对话设计：模型接收完整对话音频，感知用户的语气、节奏与情绪状态，并支持用自然语言像提示 LLM 一样下达 voice direction；同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。
推荐理由：实时 TTS 从静态朗读转向双向对话的关键产品节点，100+ 语言音色一致性对全球化语音 Agent 影响直接。
Inworld 开源 TTS Open Evaluation Toolkit：离线采样各 TTS 系统并生成可对比报告，每次运行把配置与逐样例测量一起存档，用户可从分数回溯到源文本、音频、ASR 转写与所用阈值；首发包含常见指标与一套专门的英语对话压力测试集。针对同模型不同团队测出不同 WER（因 ASR 选择、文本归一化、失败样例取舍）这一评测不可复现问题。
推荐理由：直击 TTS 评测不可复现的痛点，把协议与测量绑定存档的做法对建立可比基准有实际价值。
Netflix 介绍 MAPS 多模态素材个性化系统，把 CLIP 图像嵌入与素材 ID 嵌入拼接，让模型在素材刚上线、几乎没有交互数据时就能个性化推荐。该做法把五个画布各自的模型合并为一个，在数据最少的 short-panel 与 landscape-panel 画布上收益最大；消融实验中只有图像嵌入与统一模型同时使用（V3）才在至少四周的线上 A/B 测试中取得显著提升，short-panel 离线 IPS 提升 5.691%。视频预览方面，融合视觉、音频与文本的 MediaFM 在五周 A/B 测试中优于仅用视觉的 SeqCLIP 和纯 ID 基线，已成为默认视频预览嵌入。
推荐理由：Netflix 用 CLIP 与 MediaFM 多模态嵌入解决素材冷启动，并给出离线 IPS 与线性探针的评估取舍。
Sonic-3.6 在 15 个语言环境的盲测对比中对 Sonic-3.5 最高获得 93% 听者偏好，发布距 3.5 仅两个月，并登顶 Artificial Analysis 排行榜受控与 provider 双榜第一。
推荐理由：TTS 头部产品高频迭代且数据扎实，反映语音生成竞争白热化。
mediasoup-client 3.23.0 移除 transport.produce() 的 headerExtensionOptions，改为 Device 层 forcedRtpExtensions 按扩展 URI 强制开/关；该能力目前仅最新 Chrome 支持 WebRTC RTP Extension Control API，并修复了 Canary 149 中 abs-capture-time 引发的 codec collision 报错。
推荐理由：浏览器 RTP 扩展控制能力落地到主流 SFU 客户端库，影响采集时间同步等特性接入方式。
Pipecat 团队发布 PhoneLLM Alpha 1，一个面向语音智能体场景的开源权重模型，基于 NVIDIA Nemotron 3 Nano 30B-A3B 全参数微调，采用 MoE 架构、3.5B 激活参数，以 BSD 许可发布且无商用限制。官方称其表现与 GPT 5.6 Terra 相当，但成本低 94%、P95 首 token 时间快 1,300ms，单请求 TTFT P95 在 B200 上低于 100ms。同时发布 PhoneBench v1 基准，用 LLM 评审团评估电话智能体的说话风格、工具调用准确性与每分钟运行成本；权重已上线 HuggingFace，官方建议将 temperature 设为 0 并关闭 thinking。
推荐理由：原文给出模型规格、延迟与成本测算方式，读者可据此判断自托管语音智能体是否划算。
Mux 在 Mux Data 仪表盘上线 Playing time by rendition，按播放器实际交付的码率版本统计观看时长，并已通过 API 提供。该指标按墙钟时间计算，暂停、重缓冲和拖动的时间不计入，播放速度不影响结果；仪表盘以堆叠柱状时间序列展示前 10 个版本及“其他”的占比，并支持按标题、国家、设备类别过滤和跨维度对比，还可自定义版本分组参数。
LiveKit 发文梳理语音智能体对 yes、no、ok 等短语音应答失败的原因，指出回合结束需要 final_transcript 和 end_of_speech 两个事件同时满足，中间转写不会关闭回合。文章列举 STT 未生成最终转写、端点检测过于激进或过于宽松、噪声抑制误删短语音、SIP 通话质量差以及 backchannel 被误判为打断等成因，并给出对应做法，包括启用 transcription_timeout 做优雅恢复、turn_detection="stt" 时将 endpointing.min_delay 设为 0、按场景选择 voice isolation 或 background noise suppression、优先使用 G.722 等支持 HD voice 的编解码器，以及用自适应打断处理识别 backchannel。
推荐理由：LiveKit 官方梳理短语音回合检测失败的常见成因，并给出可逐项排查的配置与恢复手段。
Mux 将基础码率阶梯从 270p/480p/1080p 调整为 270p/480p/720p/1080p，于 4 月通过功能开关逐步上线。对比上线前后各一个月的数据，720p 交付分钟数从约十分之一升至约一半，480p 降至个位数百分比，270p 基本不变；每分钟交付字节增加约 6.5%，PTE 调优抵消近 5%，Video Quality Score 从 99.1 升至约 99.7，起播延迟改善、拖动延迟持平。Mux 曾评估删除 270p，实测折叠到 480p 的缓存效率收益有限，最极端情况仅打平，因此保留该档。
推荐理由：Mux 用真实 CDN、存储与 QoE 数据复盘码率阶梯取舍，可迁移到自建转码阶梯的决策方法。
LiveKit 将 Agent 会话分钟与录制、WebRTC 连接和 SIP 连接改为按秒计费，最低按 10 秒计费，适用于所有套餐与账户（含企业合同），无需技术改动。该调整已对现有客户生效，8 月用量将体现在 9 月账单中。LiveKit 称按分钟计费会限制外呼等短时场景的扩展，按秒计费可消除这种定价错配。
LiveKit 为 Agent Observability 新增 PII 脱敏功能，在录音和转写文本存入前自动移除姓名、地址、生日等敏感信息，对使用该功能的客户不额外收费。脱敏用 LLM 按上下文识别，转写文本中的词替换为标记，轨迹和日志中的敏感字段直接丢弃；由于词级 ASR 时间戳并非在所有 STT 模型上都可靠，音频改为删除整个轮次并以提示音替代。目前支持 10 组共 41 类 PII，需使用 LiveKit Agents SDK Python 或 Node.js 1.7.0 版本，数据保留 30 天后自动删除。
推荐理由：LiveKit 用 LLM 按上下文做 PII 脱敏，并说明音频整轮删除的取舍，可据此判断合规方案是否够用。
该 GSoC 项目在 Meet 客户端、Prosody、Jicofo、JVB 等组件注入追踪代码，覆盖创建/加入/离开会议与邀请录制器等流程，并通过借鉴 W3C 标准的 XMPP 扩展在组件间传递上下文；排障栈为 Tempo + OpenTelemetry Collector（Alloy）+ Grafana，docker-jitsi-meet 提供了部署示例。
Meta 公布 Muse Spark 1.2 的多模态评测结果与演示，该版本在模型可调用工具时多模态提升最明显，覆盖视觉编码、图表理解与知识密集型任务。视觉编码可将图像或视频转为可运行网页与游戏代码，机器人侧由高层规划模型配合基于小型 Muse 实验版本的 VLA 策略执行操作。Meta 同时预览内部评测 WildArtifactBench 并放出 10 个任务，Muse Spark 1.2 已在 Meta Model API 和 Muse Code 上线。
NVIDIA 发布 Nemotron Voice Agent v2.1.0 更新，重点提升多语种声音能力与对话轮次判断，声网对其面向语音 Agent 场景的演进做了梳理。
推荐理由：NVIDIA 语音 Agent 栈的版本演进动态，反映芯片厂商在语音 AI 栈上的发力方向。
LiveKit 的 SFU 架构让机器人系统从点对点连接扩展为多参与者 Room，摄像头、模型、操作员和下游服务各作为一个参与者加入，无需重新设计传输架构。在跨网络的人机协同录制场景中，机器人观测可同时分发给策略、操作员和录制端，策略动作与人工干预各自独立回传，避免额外网络跳数。VLM 可作为任务级编排者，各技能策略以独立参与者订阅所需观测，奖励模型则按控制频率评估执行状态并驱动策略升级。
针对 ESP32、ESP32-S3 等低资源设备做语音通话，建议从 16 kHz、16 bit、单声道、20 ms 帧长起步，优先保证接通率与稳定性，再评估提升音质。声网 RTSA SDK 仅支持单声道、20 ms 发送间隔，包体积增量小于 400 KB，收发 320×240 H.264 时内存占用小于 2 MB，采集与编解码需设备端自行实现。
声网发布游戏语音质量评估方法，把语音可用拆成加入频道、发布订阅、音频播放等环节，建议接通率按进入队伍后 5 秒内成功加入频道并接收至少一名队友音频来统计，持续低于 98% 视为链路存在系统性问题。排查上先查频道、订阅和音频路由状态再查网络，用 audioLossRate、frozenRate、networkTransportDelay、jitterBufferDelay、e2eDelay 和 mosValue 区分网络卡顿与客户端卡顿，并给出首版质量看板的八项核心指标。
推荐理由：声网把游戏语音质量拆成接通率、卡顿率、延迟和弱网恢复四类指标，并给出可复用的排查顺序与看板指标。
Tavus 推出 Deployments 功能，可将构建好的 PAL 发布到实际业务场景对外使用，由 CEO Hassaan Raza 宣布，补齐从创建到上线的环节。
推荐理由：Tavus PAL 产品链路的关键一环，从开发工具走向可交付应用。
LiveKit 宣布其 Inference 中所有 LLM、STT、TTS 模型默认启用零数据保留（ZDR），适用于所有套餐，无需开关或升级配置。ZDR 要求不保留、不记录日志、不训练、不聚合，LiveKit 通过合同、账户或工作区配置及逐请求参数强制第三方提供商遵守，不达标者不予接入。Agent 可观测性数据保留 30 天，Egress 录制存入用户自有云存储，语音克隆样本在最后使用 12 个月后删除。
Cactus 在智能家居、客服、外勤、邮件、会议、费用审批六类环境共跑 6120 次测试，验证工具命名、描述、枚举、约束与重叠度对小模型函数调用的影响，形成一套环境设计规则。
LiveKit 在 LiveKit Agents 中发布 expressive mode，用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言，由框架统一转换，并会把多句合并成更大块再送入 TTS，以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型，前端可通过 lk.expression 属性获取情绪信号。
推荐理由：LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记，并给出开启方式与前端联动做法。
声网发布游戏语音质量监控方法，把语音可用链路拆成开启语音、获取频道信息、加入频道、发布订阅、音频播放五个时间点，建议接通率以最后必要环节为准，持续低于 98% 通常说明存在系统性问题。文章结合 Unity RTC 回调给出排查顺序：听不到先查频道、OnRemoteAudioStateChanged 订阅状态和音频路由，再查网络；卡顿用 OnRemoteAudioStats 的 audioLossRate、frozenRate、jitterBufferDelay、e2eDelay 和 mosValue 区分网络与客户端问题，并建议质量看板先保留接通率、可听首帧时间、卡顿率、端到端延迟 P95 等八项指标。
推荐理由：声网结合自家 Unity RTC 回调，把游戏语音从玩家反馈到指标看板的排查链路拆成可落地步骤。
MPEG 第 155 次会议（日内瓦，2026-07）正式发布超越 VVC 的下一代视频压缩联合 CfP（JVET-AQ2021），注册于 9 月初截止、提案 10 月底交付、2027 年 1 月布里斯班会议评审，官方称其规模或超过以往任何一次视频标准立项；ISOBMFF（ISO/IEC 14496-12）第 9 版与 Avatar 表示格式（ISO/IEC 23090-39）推进至 FDIS，预计 2027 年初发布；HEVC 第 7 版首版修正案新增 4:4:4 多视图 profile，VVC 参考软件与符合性测试第三版启动 CD。
推荐理由：容器基础规范（ISOBMFF 9）与下一代编码 CfP 同场落地，是 2026 年 MPEG 系统与视频标准线最重要的一次集体推进。
Deepgram 发布对话原生 TTS 模型 Flux TTS，主张把 VAD、barge-in、状态管理和对话历史回喂等编排职责收进模型本身：跨轮保持语气、节奏与发音，无需 SSML 或风格标签，原生处理打断并回报“用户实际听到的内容”，每句话有 Idle/Generating/Completing 生命周期事件，且支持说话中改语速与发音。技术上是三项选择——高保真神经编解码、文本与音频交错生成（官方称首音频延迟最低 80ms、长度无关地保持在 200ms 以内）、Mamba 状态空间骨干以固定大小记忆跨会话持有上下文。官方称其朗读词错误率中位 2.2%（约为 ElevenLabs 的一半、Cartesia 的三分之一），难例 3.4%，可云端、自托管或本地部署。
推荐理由：TTS 从“朗读”转向“面向对话状态”的代表性产品发布，直接影响语音 Agent 的打断与跨轮一致性。
Cartesia 为流式 STT 模型 Ink-2 发布两项功能：keyterm prompting 支持最多 100 个关键词（共 1200 字符）无额外延迟地提升品牌名、药名等实体转写，可配置 turn detection 则允许在端点检测的速度与准确率间调优，并给出 Earnings22 关键词召回数据。
推荐理由：面向语音 Agent 实战的 STT 能力增强，关键词提示是行业普遍痛点。
论文指出多路径传输对实时视频收益有限的根因是调度器只看字节、不识别关键帧；MoMQ 作为 MoQT 扩展让应用与 relay 用声明式规则把 Object 元数据映射到标注路径，在 Starlink+WiFi 真实试验台上用 4 条规则将 P99.9 帧完成时间从 384.7ms 降至 114.1ms，播放缓冲需求减少 61.5%，且是唯一满足 150ms 交互延迟目标的配置。
推荐理由：把 MoQT 的语义元数据用于多路径调度，给出了 QUIC 时代弱网对抗的新方向。
Cactus 发布 Needle 2，一个 45M 参数的开源模型，用于工具调用、设备操作和结构化抽取，整个模型是单个 14MB 二进制文件，会话内存约 28MB。它在 Raspberry Pi 5 上解码达 500 tokens/sec，在 Meta Quest 3S、Apple Vision Pro 等 VR 设备上为 400–1,500 tokens/sec，并可运行于 ESP32-S3 等较新微控制器。模型采用 CQ2-bit 量化，从预训练到后训练全程针对 Cactus Quants 训练，并支持在 Mac/PC 上微调。
以东南亚移动热点（丢包 8%-15%）客户案例切入：丢包超 5% 时 MOS 从 4.2 降到 3.0 以下、端到端超 400ms 对话节奏被破坏、抖动超 30ms 音频变调；工程上采用 ULPFEC 不均等保护（I 帧与音频 30%-50% 冗余、P 帧 10%-20%，20% 丢包下恢复率约 70%）、动态 Jitter Buffer 在 80-200ms 间伸缩，并观察到 BBR 在移动网络带宽突降时收敛比 GCC 快约 1.5 倍。
推荐理由：有案例、有阈值、有参数取舍的弱网优化实战记录，FEC 分级与缓冲策略可直接借用。
论文面向 360° 沉浸式直播，基于 MoQ 重新设计多接入路径下的瓦片流投递机制，支持灵活的瓦片调度与无缝接入切换；原型在真实网络仿真中对比 DASH 与标准 MoQ，提升了增强瓦片与基础层的 goodput、降低增强瓦片尾部端到端延迟，并消除标准 MoQ 在带宽受限下的持续停滞。
推荐理由：MoQ 在高码率沉浸式视频上的系统性扩展，已被 ACM MM 2026 接收，代表学术侧的落地验证。
speech-to-speech 0.2.x 线的收官版本：Realtime 模式默认启用量化 CPU 版 Smart Turn v3.2 区分完整话轮与思考中停顿（可用 --no_smart_turn 回退 Silero）；为 OpenAI Realtime API 新增 WebRTC 传输，在 POST /v1/realtime/calls 做 SDP 协商，RTP 音频与 oai-events 数据通道与 WebSocket 共享同一管线池；并支持 --stt none 直接把 VAD 音频喂给带音频能力的 LLM。
推荐理由：0.2.x 收官版集中落地话轮检测与 WebRTC 传输两项语音 Agent 关键能力，是 v1.0 之前的稳定基线。
LiveKit 官方文章聚焦 agent 加入延迟，即后端请求 agent 到 agent 就绪进入房间的时间，并指出用户侧表现为持续响铃、静音、头像黑屏、客户端超时或提前离开。文章列出常见原因：LiveKit Cloud 上 Build 计划会缩容到零导致冷启动，自托管需维护预热进程池并调整 num_idle_processes，入口点阻塞代码和过大的容器镜像也会拖慢加入，虚拟形象会额外增加一个参会者并处于关键路径上。排查时可记录显式 dispatch 前与 await ctx.connect() 返回后的时间戳，并通过 job metadata 传递 ID 关联两条日志。
推荐理由：LiveKit 官方拆解 agent 加入房间延迟的成因与排查路径，自托管团队可据此定位冷启动和扩容问题。
SeedRealtime 以统一端到端架构原生融合音频、视频与文本，在连续多模态流上同步完成感知、理解与表达，支持结合画面消解同音歧义、时序指代理解，并能在察觉画面变化时主动提醒和调用工具。官方端到端人工评测显示，相比级联模型其音视频对话节奏问题减少一半，已在豆包 App 视频通话全量上线。
推荐理由：业界率先把音视频全双工技术规模化落地的模型发布，代表语音 Agent 从语音向全模态演进。