跳到正文
  1. 海外技术动态64

    CDN77 详述为何用 NETINT ASIC 转码器替代 x264 与 NVENC 承载数万路直播

    CDN77 媒体系统架构师详解其转码硬件选型:在对客户数百条样本视频、数万次编码的对比测试中,NETINT Quadra T1U ASIC 在 720p/500kbps-1Mbps 社交媒体码率下画质优于 x264,较 GPU 方案约好 10%,能效约为 GPU 的 3 倍;团队最终采购数千张卡承载上万个并行直播流,并用 capped CRF 平衡画质与码率尖峰。文中同时讨论了 ASIC 锁定单一应用的风险与对冲方式。

    推荐理由:罕见的规模化直播转码硬件选型实测复盘,CPU/GPU/ASIC 三路线的画质与能效数据有直接采购参考价值。

  1. Cactus Engineering Blog50

    Cactus 详解 Needle 的 .cact 单文件格式与 2.125 比特量化

    Cactus 介绍其端侧模型 Needle 使用的 .cact 单文件格式:196 字节头部携带全部架构几何信息,无名张量目录按前向顺序排列,权重以 128 个一组做 Hadamard 旋转后按 Lloyd-Max 码本量化,CQ2 下每权重 2.125 比特。内核直接读取打包索引做查表与 sdot 累加,不展开权重,20 层 needle3.cact 为 29 MB、581 个张量。文中还给出用 struct 解析头部与目录的二十行 Python 代码,并说明同一容器可承载语音模型 Whistle。

    推荐理由:原文拆解了 .cact 单文件格式的头部、目录与分组量化设计,并给出二十行解析代码,可迁移到自研端侧模型加载器。

  1. LiveKit Blog62

    LiveKit 解释语音智能体中 VAD inference is slower than realtime 警告的含义与排查方法

    LiveKit 说明语音智能体日志中的 VAD inference is slower than realtime 警告与 STT、TTS、LLM 模型无关,指的是智能体进程内的语音活动检测模型处理 32ms 音频窗口耗时超过 32ms,警告中的延迟表示 VAD 落后实时音频的程度,Python 以秒、Node.js 以毫秒报告。排查应先排除阻塞事件循环的同步代码,再检查 CPU 负载,可通过 VAD 的 metrics_collected 事件中 inference_duration_total 与 inference_count 的比值判断是 CPU 饥饿还是事件循环阻塞;不要给 VAD 增加线程或调大 max_buffered_speech、num_idle_processes。

    推荐理由:LiveKit 官方拆解 VAD 落后于实时音频的成因与排查顺序,可对照日志中的延迟数值定位是 CPU 还是事件循环问题。

  2. 中文技术动态52

    SRS WebRTC over TCP 实战:不经 TURN 的 TCP 直传配置与端口复用方案

    讲解 SRS 的 WebRTC over TCP 直传方案:无需部署 TURN,通过 SRS_RTC_SERVER_TCP_ENABLED 等环境变量即可让 UDP 不可用网络下的 WebRTC 走 TCP;支持与 HTTP API/HTTP-FLV 复用同一 TCP 端口(如 8080),并可配合 rtc_to_rtmp 让一个端口同时服务 WebRTC 与 HTTP 直播,便于负载均衡器转发。

    推荐理由:UDP 受限网络(企业防火墙、运营商 NAT)是 WebRTC 落地常见痛点,此文给出可直接落地的配置方案。

  3. 中文技术动态58

    SRS 从 1.0 到 8.0 版本演进全览:7.0 单线程架构与 8.0 的 AI 协作开发模式

    结合 ossrs/srs 仓库源码与 CHANGELOG 梳理 SRS 各版本演进:7.0(代号 Kai)带来全协议 IPv6、RTMPS、RTSP 播放与统一单线程架构,计划 2026 年底发布;8.0(代号 Free)2026 年启动,AI(Codex 工作流)成为主要贡献者,已近乎重写 SRS Proxy 并将单测覆盖率从 40% 提至 88%。

    推荐理由:SRS 是全球使用最广的开源流媒体服务器之一,此文系统呈现其架构决策与 AI 驱动的社区维护新模式。

  4. 中文技术动态55

    SRS 负载均衡与集群实践:Edge/Origin 集群、一致性哈希与 WebRTC 为何难用 Edge 分流

    以 SRS 官方博客《Load Balancing Streaming Servers》为骨架,结合仓库源码讲解负载与过载判定、DNS/HTTP-DNS 服务发现、Vhost 与一致性哈希、HTTP 302 重定向,以及 Edge Cluster、Origin Cluster(基于代理服务器的新方案)与 WebRTC Cascade 三种集群形态;并解释 WebRTC 因高 CPU 消耗与 PeerConnection 内流量动态变化而难以用 Edge 均衡的原因。

    推荐理由:自建流媒体集群的核心工程问题,文章覆盖了容量评估与调度策略选择的完整方法。

  1. LiveKit Blog62

    LiveKit 解析语音智能体短语音应答失败的原因与排查方法

    LiveKit 发文梳理语音智能体对 yes、no、ok 等短语音应答失败的原因,指出回合结束需要 final_transcript 和 end_of_speech 两个事件同时满足,中间转写不会关闭回合。文章列举 STT 未生成最终转写、端点检测过于激进或过于宽松、噪声抑制误删短语音、SIP 通话质量差以及 backchannel 被误判为打断等成因,并给出对应做法,包括启用 transcription_timeout 做优雅恢复、turn_detection="stt" 时将 endpointing.min_delay 设为 0、按场景选择 voice isolation 或 background noise suppression、优先使用 G.722 等支持 HD voice 的编解码器,以及用自适应打断处理识别 backchannel。

    推荐理由:LiveKit 官方梳理短语音回合检测失败的常见成因,并给出可逐项排查的配置与恢复手段。

  2. Mux Blog62

    Mux 复盘基础码率阶梯:保留 270p 并新增 720p 后成本与画质如何变化

    Mux 将基础码率阶梯从 270p/480p/1080p 调整为 270p/480p/720p/1080p,于 4 月通过功能开关逐步上线。对比上线前后各一个月的数据,720p 交付分钟数从约十分之一升至约一半,480p 降至个位数百分比,270p 基本不变;每分钟交付字节增加约 6.5%,PTE 调优抵消近 5%,Video Quality Score 从 99.1 升至约 99.7,起播延迟改善、拖动延迟持平。Mux 曾评估删除 270p,实测折叠到 480p 的缓存效率收益有限,最极端情况仅打平,因此保留该档。

    推荐理由:Mux 用真实 CDN、存储与 QoE 数据复盘码率阶梯取舍,可迁移到自建转码阶梯的决策方法。

  1. 声网博客62

    声网讲解游戏语音质量评估:接通率、卡顿率、延迟与弱网恢复的排查方法

    声网发布游戏语音质量评估方法,把语音可用拆成加入频道、发布订阅、音频播放等环节,建议接通率按进入队伍后 5 秒内成功加入频道并接收至少一名队友音频来统计,持续低于 98% 视为链路存在系统性问题。排查上先查频道、订阅和音频路由状态再查网络,用 audioLossRate、frozenRate、networkTransportDelay、jitterBufferDelay、e2eDelay 和 mosValue 区分网络卡顿与客户端卡顿,并给出首版质量看板的八项核心指标。

    推荐理由:声网把游戏语音质量拆成接通率、卡顿率、延迟和弱网恢复四类指标,并给出可复用的排查顺序与看板指标。

  1. 声网博客62

    声网拆解游戏语音卡顿排查:从玩家反馈到 RTC 指标的质量监控方法

    声网发布游戏语音质量监控方法,把语音可用链路拆成开启语音、获取频道信息、加入频道、发布订阅、音频播放五个时间点,建议接通率以最后必要环节为准,持续低于 98% 通常说明存在系统性问题。文章结合 Unity RTC 回调给出排查顺序:听不到先查频道、OnRemoteAudioStateChanged 订阅状态和音频路由,再查网络;卡顿用 OnRemoteAudioStats 的 audioLossRate、frozenRate、jitterBufferDelay、e2eDelay 和 mosValue 区分网络与客户端问题,并建议质量看板先保留接通率、可听首帧时间、卡顿率、端到端延迟 P95 等八项指标。

    推荐理由:声网结合自家 Unity RTC 回调,把游戏语音从玩家反馈到指标看板的排查链路拆成可落地步骤。

  1. 腾讯云音视频专区66

    腾讯云弱网实战:FEC 不均等保护与 Jitter Buffer 调深

    以东南亚移动热点(丢包 8%-15%)客户案例切入:丢包超 5% 时 MOS 从 4.2 降到 3.0 以下、端到端超 400ms 对话节奏被破坏、抖动超 30ms 音频变调;工程上采用 ULPFEC 不均等保护(I 帧与音频 30%-50% 冗余、P 帧 10%-20%,20% 丢包下恢复率约 70%)、动态 Jitter Buffer 在 80-200ms 间伸缩,并观察到 BBR 在移动网络带宽突降时收敛比 GCC 快约 1.5 倍。

    推荐理由:有案例、有阈值、有参数取舍的弱网优化实战记录,FEC 分级与缓冲策略可直接借用。

  1. LiveKit Blog62

    LiveKit 解析 agent 加入房间慢的原因与排查方法

    LiveKit 官方文章聚焦 agent 加入延迟,即后端请求 agent 到 agent 就绪进入房间的时间,并指出用户侧表现为持续响铃、静音、头像黑屏、客户端超时或提前离开。文章列出常见原因:LiveKit Cloud 上 Build 计划会缩容到零导致冷启动,自托管需维护预热进程池并调整 num_idle_processes,入口点阻塞代码和过大的容器镜像也会拖慢加入,虚拟形象会额外增加一个参会者并处于关键路径上。排查时可记录显式 dispatch 前与 await ctx.connect() 返回后的时间戳,并通过 job metadata 传递 ID 关联两条日志。

    推荐理由:LiveKit 官方拆解 agent 加入房间延迟的成因与排查路径,自托管团队可据此定位冷启动和扩容问题。

  1. 声网博客55

    声网发布 Go + Gin 搭建语音智能体服务端教程

    声网开发者社区发布用 Go 与 Gin 搭建对话式语音智能体服务端的快速上手教程,覆盖服务端与声网 ConvoAI 能力的对接流程。

    推荐理由:Go 生态语音 Agent 服务端教程在中文社区偏少,实用性强。

  1. 声网博客62

    声网拆解 Voice Agent 延迟:STT、LLM、TTS 与 VAD 的可观测指标

    声网把 Voice Agent 的端到端延迟拆成 RTC 延迟、算法前处理延迟、ASR 延迟、LLM 延迟和 TTS 延迟,启用数字人时再加渲染延迟,并给出各段典型范围,如 RTC 150-300 ms、ASR 末字延迟 400-700 ms、LLM 首字节 250-1000 ms、TTS 首字节 100-350 ms。文章建议按轮次记录 session_id、turn_id、asr_final_ts、llm_first_token_ts、tts_first_audio_ts、interrupt_detect_ts 等字段,并分别观测 ASR 的 TTLW 与 WER、LLM 的 TTFB 与 TTFS、TTS 首帧音频、VAD 的起止检测延迟和打断成功率。选型阶段可用声网 AI 模型评测平台对比 ASR、LLM、TTS 组合的 P50、P90、P99 延迟与成本,上线后再用会话级 trace 定位瓶颈。

    推荐理由:把 Voice Agent 的端到端延迟拆成 RTC、ASR、LLM、TTS、VAD 各段,并给出可采集的会话字段与仪表盘结构,适合直接对照搭建观测体系。

  1. LiveKit Blog66

    LiveKit 官方指南:诊断 LiveKit Agents 中的事件循环阻塞

    LiveKit 发布指南,说明 LiveKit Agents 每个任务运行在独立子进程中,由 supervisor 通过事件循环上的 ping/pong 健康检查监控,循环阻塞会导致响应延迟、进程被杀并在约 15 秒内被新实例替换。内置事件循环监控在 Python livekit-agents 1.8.1+ 和 Node.js @livekit/agents 1.9.1+ 默认开启,对 100ms 及以上的停顿告警并给出阻塞代码行,排查可用 py-spy、asyncio debug 模式和 Node.js 事件循环延迟测量。

    推荐理由:LiveKit 官方梳理了阻塞事件循环的日志特征与排查手段,可对照自家 Agent 的告警和 trace 定位问题。

  1. 声网博客55

    声网开源项目:用 AI 让 C 罗解说梅西比赛,冲上 OpenAI 社区榜二

    声网开发者社区分享一个开源 AI 赛事解说员项目,实现让 C 罗解说梅西比赛的效果并登上 OpenAI 社区榜单第二,文章给出实时语音 Agent 的工程实现思路。

    推荐理由:世界杯期间的实时语音 Agent 实战案例,兼具趣味性与工程参考。

  1. 声网博客74

    声网首测 GPT-Live:响应延迟中位数 1099ms、波动缩 5 倍

    Agora 实验室用 iPhone 13 加人工发声设备、可控网络模拟丢包、双轨录音逐帧取时、每项 n=30 的方法测试三代 ChatGPT 语音模式:GPT-Live-1 正常网络中位响应 1099ms(P90 1203ms、SD 104ms),Advanced Voice Mode 为 1304ms(P90 2318ms、SD 489ms),Standard 级联模式 5197ms;10% 上行丢包下 GPT-Live 仅增 314ms,同级丢包的 P90 仍优于零丢包的上一代;插话停止延迟中位数 1399ms 比上一代慢 498ms,但背景人声误触发从 22 次降到 1 次。

    推荐理由:方法论透明、样本量与局限都交代清楚的端到端延迟实测,弱网下的对比尤其有信息量。