Agora 推出新一代语音方案:面向语音 AI 开发者的 Gemini 3.8 Flash TTS
Agora 面向语音 AI 开发者推出基于 Gemini 3.8 Flash TTS 的新一代语音能力,定位新一代对话式语音合成,服务其 ConvoAI/语音 Agent 场景。
推荐理由:声网接入 Google 新一代 TTS 模型,反映模型层与 RTE 平台层加速融合。
平台与项目
声网的实时互动平台动态:SD-RTN 全球网络、RTC 与语音产品能力、TEN 开源语音 Agent 框架,以及开发者生态与大会动态。
22 条精选近 30 天 1 条共收录 45 条
Agora 面向语音 AI 开发者推出基于 Gemini 3.8 Flash TTS 的新一代语音能力,定位新一代对话式语音合成,服务其 ConvoAI/语音 Agent 场景。
推荐理由:声网接入 Google 新一代 TTS 模型,反映模型层与 RTE 平台层加速融合。
声网宣布 iRTE2026 实时智能大会定档 2026 年 10 月 23-24 日举行,是声网年度级别的 RTE 与实时智能方向大会,具体议程以官方页面为准。
推荐理由:声网年度大会动向,通常伴随核心产品与战略发布,值得跟踪。
声网发布游戏语音质量评估方法,把语音可用拆成加入频道、发布订阅、音频播放等环节,建议接通率按进入队伍后 5 秒内成功加入频道并接收至少一名队友音频来统计,持续低于 98% 视为链路存在系统性问题。排查上先查频道、订阅和音频路由状态再查网络,用 audioLossRate、frozenRate、networkTransportDelay、jitterBufferDelay、e2eDelay 和 mosValue 区分网络卡顿与客户端卡顿,并给出首版质量看板的八项核心指标。
推荐理由:声网把游戏语音质量拆成接通率、卡顿率、延迟和弱网恢复四类指标,并给出可复用的排查顺序与看板指标。
声网发布游戏语音质量监控方法,把语音可用链路拆成开启语音、获取频道信息、加入频道、发布订阅、音频播放五个时间点,建议接通率以最后必要环节为准,持续低于 98% 通常说明存在系统性问题。文章结合 Unity RTC 回调给出排查顺序:听不到先查频道、OnRemoteAudioStateChanged 订阅状态和音频路由,再查网络;卡顿用 OnRemoteAudioStats 的 audioLossRate、frozenRate、jitterBufferDelay、e2eDelay 和 mosValue 区分网络与客户端问题,并建议质量看板先保留接通率、可听首帧时间、卡顿率、端到端延迟 P95 等八项指标。
推荐理由:声网结合自家 Unity RTC 回调,把游戏语音从玩家反馈到指标看板的排查链路拆成可落地步骤。
声网对曝光的微软 MAI Realtime 语音模型进行拆解,聚焦其全双工语音交互、17 种语言支持与低延迟打断等关键特性,属实时语音模型竞品观察。
推荐理由:对头部厂商实时语音模型的技术观察,有助于判断全双工语音模型竞争格局。
声网开发者社区发布用 Go 与 Gin 搭建对话式语音智能体服务端的快速上手教程,覆盖服务端与声网 ConvoAI 能力的对接流程。
推荐理由:Go 生态语音 Agent 服务端教程在中文社区偏少,实用性强。
声网把 Voice Agent 的端到端延迟拆成 RTC 延迟、算法前处理延迟、ASR 延迟、LLM 延迟和 TTS 延迟,启用数字人时再加渲染延迟,并给出各段典型范围,如 RTC 150-300 ms、ASR 末字延迟 400-700 ms、LLM 首字节 250-1000 ms、TTS 首字节 100-350 ms。文章建议按轮次记录 session_id、turn_id、asr_final_ts、llm_first_token_ts、tts_first_audio_ts、interrupt_detect_ts 等字段,并分别观测 ASR 的 TTLW 与 WER、LLM 的 TTFB 与 TTFS、TTS 首帧音频、VAD 的起止检测延迟和打断成功率。选型阶段可用声网 AI 模型评测平台对比 ASR、LLM、TTS 组合的 P50、P90、P99 延迟与成本,上线后再用会话级 trace 定位瓶颈。
推荐理由:把 Voice Agent 的端到端延迟拆成 RTC、ASR、LLM、TTS、VAD 各段,并给出可采集的会话字段与仪表盘结构,适合直接对照搭建观测体系。
声网开发者社区分享一个开源 AI 赛事解说员项目,实现让 C 罗解说梅西比赛的效果并登上 OpenAI 社区榜单第二,文章给出实时语音 Agent 的工程实现思路。
推荐理由:世界杯期间的实时语音 Agent 实战案例,兼具趣味性与工程参考。
Agora 实验室用 iPhone 13 加人工发声设备、可控网络模拟丢包、双轨录音逐帧取时、每项 n=30 的方法测试三代 ChatGPT 语音模式:GPT-Live-1 正常网络中位响应 1099ms(P90 1203ms、SD 104ms),Advanced Voice Mode 为 1304ms(P90 2318ms、SD 489ms),Standard 级联模式 5197ms;10% 上行丢包下 GPT-Live 仅增 314ms,同级丢包的 P90 仍优于零丢包的上一代;插话停止延迟中位数 1399ms 比上一代慢 498ms,但背景人声误触发从 22 次降到 1 次。
推荐理由:方法论透明、样本量与局限都交代清楚的端到端延迟实测,弱网下的对比尤其有信息量。
针对 OpenAI 未公布 GPT-Live 的端到端时延,Agora 自行搭建测试并公布实测数据,为语音 Agent 开发者选型实时语音模型提供延迟参考。
推荐理由:第三方对 GPT-Live 时延的受控实测,是实时语音模型选型的稀缺数据点。
Agora 推出官方 CLI,开发者可在命令行完成 Agora 项目创建、配置与管理等操作,减少在控制台与代码间来回切换的成本。
推荐理由:开发者工具链的补全,对 RTE 平台工程化接入有实际意义。
声网针对出海语聊房给出 AI 降噪配置策略:中东中央空调等稳态噪声用传统降噪(WebRTC NS)已够用,市集、水烟咖啡馆的非平稳人声背景才是 AI 降噪优势区。东南亚弱网下,丢包率超过 5% 时部分 AI 降噪模型会因帧缺失产生噪声伪影;骁龙 400 系列等入门芯片叠加混音与编解码后 CPU 占用可能超过 70% 并触发热节流,通话 10–15 分钟后音频不连贯。声网建议按设备档位与丢包情况动态选择 AINS 强度,低端设备任意网络下用传统 NS。
推荐理由:声网按中东与东南亚两类噪音环境给出 AINS 档位与降级配置,并说明低端设备弱网下传统降噪更稳的边界。
用 Ookla 2025 数据定位战场:印尼移动均速 45.01Mbps(低于东南亚均值 91.79)、外岛 3G 常态,丢包超 10%、抖动超 100ms 时音频流明显劣化;给出四件套的适用边界——FEC 适合 10%-30% 丢包且 RTT>150ms(代价 10%-30% 带宽)、NACK 要求 RTT<150ms 且丢包<10%、Opus 从 32-64kbps 降级到 8-12kbps、动态 Jitter Buffer 工作范围 60-200ms,并强调本地节点对 RTT 的实质影响与 tc netem 测试方法。
推荐理由:少见的按目标市场网络实测数据反推弱网策略的实战文,参数边界清晰可落地。
SD-RTN 以全球 200 多个数据中心(文中另处称 250+)组成软件定义实时网,用基于 UDP 的多路复用传输协议与智能调度系统做动态路由;对外给出分档质量承诺:200ms 内包到达率 99.9%(RTC)、800ms(极速直播)、2s(一般直播),并说明 FEC、自适应码率等弱网对抗手段与传输层加密、抗 DDoS 机制。
推荐理由:厂商自述底层传输网的架构与可量化 SLA 指标,是理解 RTC 私有传输网络的直接材料。
发送端同时编码 1080p/720p/360p 三路流(约 2Mbps/1Mbps/300Kbps),SFU 按订阅关系只转发合适的一路;文章覆盖 SDP 的 ssrc-group:SIM 与 RID 协商、setParameters 编码参数配置、切换时的 PLI/FIR 关键帧请求优化,以及与 SVC 在带宽消耗和兼容性上的对比。
推荐理由:完整覆盖 Simulcast 从协商、实现到 SFU 转发的工程细节,并给出移动端编码负担的权衡。
区分容量探测(主动加压测可用带宽上限)与被动估计(借 ICE 阶段 STUN/TURN 消息推断),强调探测目标应与实际通话服务器同节点、控制在 1-3 秒内、可后台预探测并设 30 秒级缓存有效期;并给出根据探测结果调整编码参数、提前提示用户、通话中被动监测加主动探测的闭环做法,以及 NAT 超时、移动网络切换对探测准确性的影响。
推荐理由:弱网自适应的感知基础,方法、参数与坑位都讲得比较完整。
针对“一会话一端口”与有状态 ICE/DTLS 会话在 Kubernetes 下的扩容冲突,OpenAI 将数据包路由与协议终止分离:Relay 只做无状态 UDP 转发并借 ICE ufrag 编码路由信息实现首包确定性投递,Transceiver 用 Go+Pion 运行完整 WebRTC 端点;该架构已全量上线,支撑 9 亿周活用户的实时媒体流量,客户端无感知。
推荐理由:罕见的基础设施级披露,展示超大规模实时语音服务的 WebRTC 架构取舍与开源栈的生产验证。
以 10 人会议量化三种架构的带宽与计算分布:P2P 每人需维护 9 条连接(约 18Mbps 上行),SFU 把客户端上行降到 1 路但服务端产生约 100Mbps 转发量,MCU 客户端压力最小但编解码计算成本最高;并给出 Simulcast/SVC、分层 SFU、CDN+RTC 混合等增强方案与适用场景。
推荐理由:用具体数字讲清三种媒体服务器架构的成本结构与选型逻辑,是 RTC 架构选型的完整参考。
把首帧时间拆为信令连接、ICE 协商、设备初始化、编码传输、解码渲染五段分别埋点统计;优化手段包括信令就近部署与预连接、Trickle ICE 边收集边检查、进入大厅即预初始化摄像头、首帧降码率与优先传输、以及进度提示与头像占位;并分场景给出策略——1v1 追求绝对速度、多人会议分批加载防设备过载、直播权衡首帧与缓冲。
推荐理由:首帧优化的完整方法论,分段统计与分场景策略可直接用于体验优化。
按场景给出指标优先级:强交互场景延迟是第一杀手(端到端超 400ms 对话节奏被破坏),内容消费场景卡顿最致命,音频质量敏感场景丢包率需严控;并说明三者连锁反应——丢包超 10% 时卡顿率通常同步上升,以及声网在教育、社交、会议场景的分层保障策略(大班课教师端 400ms 内、学生端 CDN 3-5 秒)。
推荐理由:把延迟、丢包、卡顿三个指标放进场景比较优先级,对质量监控体系设计有直接参考价值。