构建 HIPAA 合规的 AI 视频医患对话：BAA、加密与关键合规特性
文章讲解用 PAL 构建安全、HIPAA 合规的 AI 视频患者对话：BAA、加密与最关键的合规特性。
#实时音视频
Tavus Blog评分5252 Tavus Blog评分4040 AI 视频智能体规模化技能认证：评估口语作答、推理与应用能力
文章称 AI 认证用视频智能体评估口语作答、推理与应用技能，以实时、可规模化的验证替代静态考题。
Tavus Blog评分3838 AI 数字人支撑入职前 90 天留存：Tavus 的个性化检查与按角色支持方案
文章称 AI 数字人可为每位新员工提供个性化检查、按需解答与角色支持，并给出可扩展的 90 天留存计划。
Tavus Blog评分3838 Tavus 谈入职自动化分工：工作流处理表单，PAL 承担即时的沟通对话
文章划分入职自动化边界：表单与账号开通交工作流，无法延后的沟通对话交给实时 AI 视频智能体补齐。
Tavus Blog评分5050 视频会议 API 与会话式视频 API 的关键差异：路由人流与让 AI 对话
文章指出视频会议 API 在人与人之间路由流，会话式视频 API 让 AI 数字人主持对话本身，并给出选择依据。
Tavus Blog评分4444 Tavus 谈 AI 招聘面试规模化：视频智能体以 42 种语言读取语气与表情
文章称 AI 视频智能体已能规模化执行招聘面试，覆盖 42 种语言，并读取文本工具无法捕捉的语气与表情。
Tavus Blog评分3434 Tavus 为 PALs 推出长期记忆功能 Memories，围绕关系构建对话连续性
Tavus 为 PALs 推出长期记忆功能 Memories，按每段 PAL 与用户的关系维护独立的记忆存储，包含描述用户偏好与目标的 Profile 和记录对话事件的 Timeline。该设计将实时对话所需的持续关系上下文与按需历史检索分离，避免每次响应前增加搜索步骤；记忆内容可查看、纠正和删除。
Tavus Blog评分4545 AI 智能体框架中视频层的定位：Tavus 论如何叠加实时视频形成 AI 数字人
文章对比主流 AI 智能体框架，说明在现有架构上叠加实时视频层后，智能体可看、听并具备临场感应答。
Tavus Blog评分3838 AI 视频智能体承担招聘自动化：从简历初筛到首轮面试的实时执行
文章梳理招聘流程中最省人工的环节（初筛、排期），说明 AI 视频智能体如何实时执行首轮面试。
Tavus Blog评分5050 AI 聊天机器人 API 与视频智能体 API 的架构差异：感知、流程与渲染闭环
文章对比两类 API：聊天 API 处理文本，视频智能体 API 把感知、对话流与渲染组成闭环，并说明架构差异。
Tavus Blog评分3838 Tavus 谈 AI 视频触点改造员工旅程：从入职到离职面谈的实时对话
文章称实时 AI 视频智能体可把入职、政策答疑、辅导与离职面谈变成实时对话，重塑员工体验各触点。
Tavus Blog评分4040 Tavus 谈 AI 视频智能体改善招聘候选人体验：每位申请者获得面对面初筛
文章称 AI 视频智能体（PAL）可让每位候选人获得实时面对面初筛对话，用临场感填补招聘流程中的沉默间隙。
Tavus Blog精选评分6666 Tavus 发布 Phoenix-4.5：实时数字人从全脸生成迈向全身动作与对话表现力
Tavus 推出 Phoenix 系列实时数字人模型的 4.5 版本，官方定位为三年来在自然度上最大的一次跨越：在 Phoenix-4 情绪可控、主动聆听与连续面部动作的基础上，把生成范围从嘴部、面部扩展到肩部姿态、头部节奏等身体语言。文章为研究与技术综述，说明该版本对实时对话中临场感（presence）的改进。
推荐理由：实时数字人方向的旗舰产品迭代，直接关系到 Conversational Video Interface 的对话自然度。
Zoom Developer Blog评分2222 Zoom Contact Center 管理员可手动控制 RTMS 流：启动、暂停与停止
Zoom Contact Center 的 RTMS 支持管理员通过 API 手动控制流，可执行 start、stop、pause、resume 四种操作。使用需管理员权限与 RTMS 许可证，应用需添加 contact_center_rtms:write:admin 权限范围，并在集成设置中关闭 auto 开关。调用时以 PUT 请求携带活跃 engagement ID 和已授权应用的 client ID，可程序化或按流程事件触发。
LiveKit Blog评分3636 构建实时语音与视频 AI Agent：LiveKit Agents 与 Pipecat 开源框架对比
LiveKit Agents 与 Pipecat 是构建生产级实时语音和视频 AI Agent 的两个主流开源框架，前者基于 LiveKit 自有的开源 WebRTC 和 SIP 服务器、对 Agent 做较高层抽象，后者不预设传输层、对处理链路做较低层抽象。两者都支持语音转文本→语言模型→文本转语音的核心链路及端到端语音模型，但 LiveKit Agents 放弃传输层选择与阶段增删，换取分发、扩展和多方会话的现成支持；Pipecat 则需自行接入传输并逐级组装链路。
TEN Framework Releases评分2222 TEN Framework 发布 0.11.72：新增讯飞 ASR 扩展并修复多项 ASR/TTS 问题
TEN Framework 发布 0.11.72，新增讯飞（iFLYTEK）ASR 扩展并支持嵌套参数，同时为腾讯 ASR 的厂商元数据加入 appid。该版本修复了字节跳动 ASR 的厂商代码字符串化、Smallest 消息循环退出后重连、Fish Audio TTS 刷新等问题，并将字节跳动 ASR 版本升至 0.5.5、Deepgram ASR 升至 0.5.2。
LiveKit Blog评分2020 LiveKit 推出创业扶持计划：提供约 2.3 万美元额度，覆盖推理与 LiveKit Cloud
LiveKit 推出 Startup Program，为符合条件的早期创业公司提供约 23,000 美元总价值额度，包括 7,000 美元推理额度（覆盖 7 家合作方）、10,000 美元 LiveKit Cloud 额度和一年 Scale 计划（原价 500 美元/月）。所有模型通过 LiveKit Inference 调用，无需单独账号或 API key，且默认启用零数据留存。申请者须员工少于 50 人、融资低于 500 万美元，并将语音、视频或物理 AI 作为产品核心。
Google AI Blog精选评分6262 Google 发布 Gemini 3.8 Live 与 3.5 转写模型
Google 在 Gemini API 与 AI Studio 上线 Gemini 3.8 Live、3.8 Live Extended Thinking 与 3.5 Transcribe：3.8 Live 为原生语音到语音模型，支持异步函数调用（后台执行工具调用同时继续流式输出音频）、视觉上下文与 97+ 语言；3.8 Live Extended Thinking 在 Artificial Analysis 的 Speech-to-Speech 榜单排名第一；3.5 Transcribe 覆盖 85+ 语言，官方给出平均 WER 4.0%（流式）与 2.6%（非流式）。
推荐理由：实时语音链路上游模型的关键更新，直接影响语音 Agent 与实时转写方案的选型。
Tavus Blog精选评分7171 Tavus 发布 Sparrow-2 对话理解模型，在 TurnBench 轮次切换两项任务上领先
Tavus 发布音频原生、流式优先的多语言对话理解模型 Sparrow-2，不再依赖降噪和静音计时器，而是保留并分类背景语音、噪声、反馈语和打断等信号，联合建模语义、韵律与说话人身份。在独立基准 TurnBench 的公开 dev split（38 段对话、7.3 小时音频）上，它取得 92.4% 的轮次结束召回和 97.4% 的打断召回，是唯一同时领先两项任务的系统，中位决策延迟 632 ms，7.6% 的轮次结束未被响应。模型以 10 ms 帧率运行，处理 80 ms 音频约需 7 ms，可容忍 6 至 8 秒的思考停顿，现已通过 Tavus API 和平台正式可用。
推荐理由：Sparrow-2 把轮次切换从端点检测改为整体对话状态建模，并给出与十四套系统的基准对比，可据此判断语音智能体在嘈杂环境中的可用边界。
Pipecat Releases精选评分5252 Pipecat 发布 v1.10.0：支持 openai 3 与 anthropic 1 SDK，Speechmatics 改用 Agent STT
Pipecat 发布 v1.10.0，openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端，TLS 证书改为校验操作系统信任库，精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT（/v2/agent），无法再连接旧实时端点，默认 turn_detection_mode 变为 VAD，默认模型为 linden-1，并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection，DeepSeekLLMService 默认关闭 thinking，LmntTTSService 因 LMNT 关停被移除。
推荐理由：版本说明列出了多项破坏性变更与迁移方式，可据此判断现有语音管线是否需要调整依赖或参数。
声网博客评分1818 声网对话式AI引擎支撑Live Play Mobile的AI游戏主播：24小时直播与真人主播学习闭环
Live Play Mobile为其24小时宾果直播间加入AI游戏主播，将语言→语音→虚拟形象链路交给声网兄弟公司Agora的对话式AI引擎，游戏逻辑、玩家记忆与主播人设留在自有框架。团队围绕低延迟模型定制语音处理以维持长时间互动的表现力，AI负责24小时多语言运营并把有效话术反馈给真人主播。声网称其方案提供400毫秒平均全球延迟、99.99%正常运行时间，覆盖200多个国家和地区。
LiveKit Blog精选评分6262 LiveKit 解释语音智能体中 VAD inference is slower than realtime 警告的含义与排查方法
LiveKit 说明语音智能体日志中的 VAD inference is slower than realtime 警告与 STT、TTS、LLM 模型无关，指的是智能体进程内的语音活动检测模型处理 32ms 音频窗口耗时超过 32ms，警告中的延迟表示 VAD 落后实时音频的程度，Python 以秒、Node.js 以毫秒报告。排查应先排除阻塞事件循环的同步代码，再检查 CPU 负载，可通过 VAD 的 metrics_collected 事件中 inference_duration_total 与 inference_count 的比值判断是 CPU 饥饿还是事件循环阻塞；不要给 VAD 增加线程或调大 max_buffered_speech、num_idle_processes。
推荐理由：LiveKit 官方拆解 VAD 落后于实时音频的成因与排查顺序，可对照日志中的延迟数值定位是 CPU 还是事件循环问题。
声网博客评分2424 停车场云值守如何把摄像头画面实时搬进微信小程序：声网方案解析
声网针对停车场云值守场景，将微信小程序 live-pusher/live-player 组件封装为标准 RTC 接口，解决小程序不支持 WebRTC 协议栈、仅支持 H264 编码的接入难题。其 SD-RTN 网络配合 FEC 与 NACK，实测 80% 丢包下音频仍清晰、40% 丢包下视频基本连贯，并支持多路视频流并发接入与毫秒级首帧出图。
声网博客评分2222 声网智能门锁方案：电池供电设备如何做到秒开秒看与远程开门
声网发布智能门锁/门铃场景方案，针对电池供电门锁给出量产指标：出图速度小于1秒、全球通话延迟小于400毫秒，SDK增量体积控制在400KB以内、运行时内存占用仅1.2MB。远程开锁走独立实时信令通道，全球端到端延迟低于100毫秒（99分位值），70%丢包下仍保证送达。
声网博客精选评分6868 声网 iRTE2026 实时智能大会定档 10 月 23-24 日
声网宣布 iRTE2026 实时智能大会定档 2026 年 10 月 23-24 日举行，是声网年度级别的 RTE 与实时智能方向大会，具体议程以官方页面为准。
推荐理由：声网年度大会动向，通常伴随核心产品与战略发布，值得跟踪。
Hugging Face Speech-to-Speech Releases精选评分6262 Hugging Face speech-to-speech 发布 v1.0.0：统一 Realtime 引擎与 serve/talk/local 三命令
speech-to-speech 项目发布首个大版本 v1.0.0，整合为 serve、talk、local 三个命令，新增 Qwen3-ASR 识别、OpenAI 兼容 STT/TTS 端点、有状态 OpenAI Realtime 转写与实验性 vLLM Realtime 转写，并改进文本/音频/工具调用的有序输出、打断与 会话清理。浏览器演示基于 OpenAI Agents SDK，覆盖 WebSocket 与 WebRTC 两种传输的集成测试，Apple Silicon 默认改用 4-bit Qwen3-4B LLM 与 6-bit Qwen3-TTS。
推荐理由：开源全栈语音对话管线的 1.0 里程碑，命令行与后端生态明显收敛，适合做语音 Agent 自建参考。
Zoom Developer Blog评分2828 Zoom 推出基于 Video SDK 的 Web 远程医疗入门套件
Zoom 发布开源 Web 远程医疗入门套件，基于 Zoom Video SDK 构建，覆盖医生与患者注册、预约、设备预览、视频问诊、聊天、屏幕共享、云录制、实时转写和 PDF 文件共享等核心流程。套件采用 Next.js 16、React 19 和 TypeScript，代码托管于 GitHub。官方声明该示例尚未按 HIPAA 合规设计或验证，未经独立安全与合规审查不得用于受保护健康信息。
LiveKit Blog评分4040 用非生产部署测试你的语音 Agent
LiveKit 推出非生产部署，让语音 Agent 以不同名称与生产环境并行运行，共用同一容器镜像、项目和密钥，创建只需一条命令。非生产部署空闲时休眠且不计费，但重新部署会立即中断活跃会话，且不支持回滚；需 livekit-agents 1.6 或 @livekit/agents 1.7.1 以上 SDK 才能接收呼叫。
LiveKit Blog精选评分7171 LiveKit 发布 Connectors，将 Twilio 和 WhatsApp 通话接入 LiveKit 房间
LiveKit 发布 Connectors，把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间，无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC（ICE、DTLS-SRTP、Opus），Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布，仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用，计费与 SIP 相同，每分钟 0.004 美元（Ship）和 0.003 美元（Scale）。
推荐理由：LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间，读者可据此判断现有 SIP 方案是否要改。
Inworld AI Blog精选评分7070 Inworld Realtime TTS-2 正式可用：听全上下文、自然语言导声、100+ 语言单一音色
Inworld 于 8 月 31 日将 Realtime TTS-2 转为正式可用（GA），面向实时对话设计：模型接收完整对话音频，感知用户的语气、节奏与情绪状态，并支持用自然语言像提示 LLM 一样下达 voice direction；同一音色身份可跨 100+ 种语言保持。前代 Realtime TTS 1.5 曾在 Artificial Analysis Speech Arena 排名第一。
推荐理由：实时 TTS 从静态朗读转向双向对话的关键产品节点，100+ 语言音色一致性对全球化语音 Agent 影响直接。
LiveKit Blog精选评分6262 LiveKit 解析语音智能体短语音应答失败的原因与排查方法
LiveKit 发文梳理语音智能体对 yes、no、ok 等短语音应答失败的原因，指出回合结束需要 final_transcript 和 end_of_speech 两个事件同时满足，中间转写不会关闭回合。文章列举 STT 未生成最终转写、端点检测过于激进或过于宽松、噪声抑制误删短语音、SIP 通话质量差以及 backchannel 被误判为打断等成因，并给出对应做法，包括启用 transcription_timeout 做优雅恢复、turn_detection="stt" 时将 endpointing.min_delay 设为 0、按场景选择 voice isolation 或 background noise suppression、优先使用 G.722 等支持 HD voice 的编解码器，以及用自适应打断处理识别 backchannel。
推荐理由：LiveKit 官方梳理短语音回合检测失败的常见成因，并给出可逐项排查的配置与恢复手段。
LiveKit Blog评分2727 LiveKit 推出按秒计费，Agent 会话与录制、WebRTC 和 SIP 连接均适用
LiveKit 将 Agent 会话分钟与录制、WebRTC 连接和 SIP 连接改为按秒计费，最低按 10 秒计费，适用于所有套餐与账户（含企业合同），无需技术改动。该调整已对现有客户生效，8 月用量将体现在 9 月账单中。LiveKit 称按分钟计费会限制外呼等短时场景的扩展，按秒计费可消除这种定价错配。
LiveKit Blog评分3434 超越 1:1：用 LiveKit 构建多参与者机器人系统
LiveKit 的 SFU 架构让机器人系统从点对点连接扩展为多参与者 Room，摄像头、模型、操作员和下游服务各作为一个参与者加入，无需重新设计传输架构。在跨网络的人机协同录制场景中，机器人观测可同时分发给策略、操作员和录制端，策略动作与人工干预各自独立回传，避免额外网络跳数。VLM 可作为任务级编排者，各技能策略以独立参与者订阅所需观测，奖励模型则按控制频率评估执行状态并驱动策略升级。
声网博客评分3636 ESP32 低资源设备如何做语音通话：内存、采样率与网络参数优化
针对 ESP32、ESP32-S3 等低资源设备做语音通话，建议从 16 kHz、16 bit、单声道、20 ms 帧长起步，优先保证接通率与稳定性，再评估提升音质。声网 RTSA SDK 仅支持单声道、20 ms 发送间隔，包体积增量小于 400 KB，收发 320×240 H.264 时内存占用小于 2 MB，采集与编解码需设备端自行实现。
声网博客精选评分6262 声网讲解游戏语音质量评估：接通率、卡顿率、延迟与弱网恢复的排查方法
声网发布游戏语音质量评估方法，把语音可用拆成加入频道、发布订阅、音频播放等环节，建议接通率按进入队伍后 5 秒内成功加入频道并接收至少一名队友音频来统计，持续低于 98% 视为链路存在系统性问题。排查上先查频道、订阅和音频路由状态再查网络，用 audioLossRate、frozenRate、networkTransportDelay、jitterBufferDelay、e2eDelay 和 mosValue 区分网络卡顿与客户端卡顿，并给出首版质量看板的八项核心指标。
推荐理由：声网把游戏语音质量拆成接通率、卡顿率、延迟和弱网恢复四类指标，并给出可复用的排查顺序与看板指标。
LiveKit Blog评分4040 LiveKit 如何处理零数据保留（ZDR）：全平台模型默认不保留、不训练
LiveKit 宣布其 Inference 中所有 LLM、STT、TTS 模型默认启用零数据保留（ZDR），适用于所有套餐，无需开关或升级配置。ZDR 要求不保留、不记录日志、不训练、不聚合，LiveKit 通过合同、账户或工作区配置及逐请求参数强制第三方提供商遵守，不达标者不予接入。Agent 可观测性数据保留 30 天，Egress 录制存入用户自有云存储，语音克隆样本在最后使用 12 个月后删除。
LiveKit Blog精选评分6262 LiveKit Agents 推出 expressive mode，让语音智能体按对话情绪调整语气
LiveKit 在 LiveKit Agents 中发布 expressive mode，用一个开关让语音智能体根据对话上下文调整语气。该模式在 LLM 提示中注入各家 TTS 的标记方言，由框架统一转换，并会把多句合并成更大块再送入 TTS，以稳定情绪和音高且不显著增加延迟。目前支持 Fish Audio、Inworld、Cartesia 和 SpaceXAI 的 LiveKit Inference 模型，前端可通过 lk.expression 属性获取情绪信号。
推荐理由：LiveKit 官方说明 expressive mode 如何把 LLM 输出转成各家 TTS 的情绪标记，并给出开启方式与前端联动做法。
声网博客精选评分6262 声网拆解游戏语音卡顿排查：从玩家反馈到 RTC 指标的质量监控方法
声网发布游戏语音质量监控方法，把语音可用链路拆成开启语音、获取频道信息、加入频道、发布订阅、音频播放五个时间点，建议接通率以最后必要环节为准，持续低于 98% 通常说明存在系统性问题。文章结合 Unity RTC 回调给出排查顺序：听不到先查频道、OnRemoteAudioStateChanged 订阅状态和音频路由，再查网络；卡顿用 OnRemoteAudioStats 的 audioLossRate、frozenRate、jitterBufferDelay、e2eDelay 和 mosValue 区分网络与客户端问题，并建议质量看板先保留接通率、可听首帧时间、卡顿率、端到端延迟 P95 等八项指标。
推荐理由：声网结合自家 Unity RTC 回调，把游戏语音从玩家反馈到指标看板的排查链路拆成可落地步骤。
腾讯云音视频专区精选评分6666 腾讯云弱网实战：FEC 不均等保护与 Jitter Buffer 调深
以东南亚移动热点（丢包 8%-15%）客户案例切入：丢包超 5% 时 MOS 从 4.2 降到 3.0 以下、端到端超 400ms 对话节奏被破坏、抖动超 30ms 音频变调；工程上采用 ULPFEC 不均等保护（I 帧与音频 30%-50% 冗余、P 帧 10%-20%，20% 丢包下恢复率约 70%）、动态 Jitter Buffer 在 80-200ms 间伸缩，并观察到 BBR 在移动网络带宽突降时收敛比 GCC 快约 1.5 倍。
推荐理由：有案例、有阈值、有参数取舍的弱网优化实战记录，FEC 分级与缓冲策略可直接借用。
LiveKit Blog精选评分6262 LiveKit 解析 agent 加入房间慢的原因与排查方法
LiveKit 官方文章聚焦 agent 加入延迟，即后端请求 agent 到 agent 就绪进入房间的时间，并指出用户侧表现为持续响铃、静音、头像黑屏、客户端超时或提前离开。文章列出常见原因：LiveKit Cloud 上 Build 计划会缩容到零导致冷启动，自托管需维护预热进程池并调整 num_idle_processes，入口点阻塞代码和过大的容器镜像也会拖慢加入，虚拟形象会额外增加一个参会者并处于关键路径上。排查时可记录显式 dispatch 前与 await ctx.connect() 返回后的时间戳，并通过 job metadata 传递 ID 关联两条日志。
推荐理由：LiveKit 官方拆解 agent 加入房间延迟的成因与排查路径，自托管团队可据此定位冷启动和扩容问题。