实时视频 AI 集成模式开发者手册：延迟预算、WebRTC 架构与自建或采购
文章给出实时视频 AI 的集成手册：如何设定延迟预算、选择 WebRTC 架构、权衡自建与采购，以及全管线集成要点。
推荐理由：覆盖延迟预算与 WebRTC 架构决策，对实时视频 AI 工程落地有直接参考价值。
#低延迟
Tavus Blog精选评分5858
声网博客精选评分7474 声网首测 GPT-Live：响应延迟中位数 1099ms、波动缩 5 倍
Agora 实验室用 iPhone 13 加人工发声设备、可控网络模拟丢包、双轨录音逐帧取时、每项 n=30 的方法测试三代 ChatGPT 语音模式：GPT-Live-1 正常网络中位响应 1099ms（P90 1203ms、SD 104ms），Advanced Voice Mode 为 1304ms（P90 2318ms、SD 489ms），Standard 级联模式 5197ms；10% 上行丢包下 GPT-Live 仅增 314ms，同级丢包的 P90 仍优于零丢包的上一代；插话停止延迟中位数 1399ms 比上一代慢 498ms，但背景人声误触发从 22 次降到 1 次。
推荐理由：方法论透明、样本量与局限都交代清楚的端到端延迟实测，弱网下的对比尤其有信息量。
中文技术动态精选评分6464 火山引擎 × 央视网世界杯直播：首帧起播 400ms 内、端到端延迟最低约 1 秒
火山引擎介绍与央视网的 2026 世界杯转播合作：长视频首帧起播时长压至 400ms 以内，上届世界杯千万级并发下端到端延迟曾压至约 1 秒，本届进一步压缩，并依托"秒级监控、1 分钟级响应、3 分钟止损"SOP 与 AI 智能调度保障传输。
推荐理由：国内大型赛事直播的最新技术指标披露，反映火山引擎视频云能力边界。
声网博客精选评分6262 声网拆解首帧渲染时间：从信令到渲染的分段优化方法
把首帧时间拆为信令连接、ICE 协商、设备初始化、编码传输、解码渲染五段分别埋点统计；优化手段包括信令就近部署与预连接、Trickle ICE 边收集边检查、进入大厅即预初始化摄像头、首帧降码率与优先传输、以及进度提示与头像占位；并分场景给出策略——1v1 追求绝对速度、多人会议分批加载防设备过载、直播权衡首帧与缓冲。
推荐理由：首帧优化的完整方法论，分段统计与分场景策略可直接用于体验优化。
LiveKit Blog精选评分7070 LiveKit 逐项对比语音 Agent 两种架构：STT-LLM-TTS 级联与端到端 Realtime
LiveKit 对照级联管线（STT-LLM-TTS）与实时端到端（S2S）模型在延迟、工具调用、话轮检测、语音自然度、可控性与调试、成本、合规与电话场景上的差异：实时模型在情绪与韵律感知、串行开销上有结构优势，但工具调用准确率与可定制性较弱；管线在每层可观测、可替换、可在文本层脱敏 PII、可做区域数据驻留上更可控，但需要靠流式重叠（部分转写进 LLM、token 边到边进 TTS）才能压到接近实时模型。文章另给出两种混合方案：realtime 模型配独立 STT，以及半级联（realtime 只出文本、由独立 TTS 出声）。并指出电话网络为 8kHz G.711 音频，而实时模型多按 16–48kHz WebRTC 音频训练，呼叫中心场景管线通常更可靠。
推荐理由：语音 Agent 架构选型的系统性对照，覆盖延迟、工具调用与合规等实际决策维度。
LiveKit Blog精选评分6262 LiveKit 拆解 talker-reasoner 模式：快慢双模型加异步工具，让语音 Agent 不阻塞
LiveKit 介绍 subagent delegation（又称 talker-reasoner、快脑慢脑）模式：每个会话轮次由延迟优化的主 Agent（示例用 google/gemma-4-31b-it）处理，需要多步推理或慢工具的任务交给后台推理模型（示例用 google/gemini-3.1-pro），两者仅通过一个异步工具连接——主 Agent 调用后首次进度更新即释放对话，可继续应答或追问，子 Agent 结果在空闲时以追加回复返回，且会话历史不进入子 Agent 以保持轮次成本低。文章同时给出不适用情形：答案需先核实（价格、医疗建议）、单个快模型已够用、主 Agent 无事可做只能念填充话术、以及通话普遍短于 30 秒。
推荐理由：面向长耗时推理的语音 Agent 编排模式，给出了可落地的分工与适用边界。
海外技术动态精选评分6060 直播编码新趋势：用 VMAF 直接驱动码率控制闭环
Streaming Learning Center 盘点直播编码器把感知质量指标纳入率控闭环的进展：MainConcept 的 VMAF-E 以实时 VMAF 代理在编码序内驱动率控，Synamedia 用 pVMAF 实现按频道的画质目标与优先级调度，Meta 与 FFmpeg 7.0+ 将 PSNR/SSIM/VMAF 用于实时监控与机群可视化。文章建议采购直播编码器时重点确认三件事：是否暴露可独立验证的指标、指标是否在率控环内、能否按频道设定画质目标。
推荐理由：质量指标从离线评估走向在线率控是直播编码的重要工程趋势，文中给出可落地的采购核查清单。
已经到底了