跳到正文
10月13日周二
  1. LiveKit Blog30

    LiveKit Egress 故障排查指南:常见错误、状态码与自托管问题

    LiveKit 发布 Egress 故障排查指南,梳理了录制失败的常见错误与对应状态码,包括未收到开始信号(412)、页面加载错误(400)、参与者或轨道未找到(404)、上传失败(400)、流水线冻结(500)和超时(408)等。Egress 以 EGRESS 类型参与者加入房间并只订阅所需轨道,凭证需在录制期间保持有效,S3 的 AssumeRole 仅限特定套餐。

  2. ElevenLabs Blog22

    JavaScript 语音识别教程:用 Web Speech API 构建语音交互

    用浏览器原生 Web Speech API 可在 JavaScript 中实现实时语音转写,无需自建本地识别服务器,音频由浏览器发往后端云服务处理。该 API 通过 SpeechRecognition 接口支持连续识别、临时与最终转写结果,但存在转写不一致、依赖浏览器、无法理解意图等限制,且准确率与延迟因浏览器而异。

10月12日周一
  1. 海外技术动态54

    BlogGeek:WebRTC 屏幕共享不能套用摄像头视频的管线与参数

    文章指出屏幕内容的像素特性与摄像头完全不同(高分辨率、低帧率、文字密集),把屏幕共享当普通视频轨处理会导致文字发虚、幻灯片落后演讲者近一秒、共享 4K 显示器时 CPU 飙升;作者按多年咨询经验归纳屏幕共享在编码参数、管线与监控上的专门处理要点。

10月9日周五
  1. ElevenLabs Blog22

    什么是语音活动检测(VAD),它如何工作?

    语音活动检测(VAD)以毫秒级音频帧为单位判断是否含有人声,并以 0 到 1 的置信度输出二值结果,供 ASR/STT、LLM 等下游系统决定是否处理音频。算法按采集、分帧、特征提取、打分、状态决策五阶段循环运行,分为传统信号处理、神经网络和语义 AI 三类。VAD 只判断帧内是否有人声,判断说话人是否说完需由端点检测(endpointing)完成。

  2. LiveKit Blog22

    Serve AI 如何用 Agent Simulations 把语音智能体迁移到 LiveKit

    Serve AI 将其电话智能体从 Retell 的对话流程图迁移到 LiveKit 单提示词架构,用 Agent Simulations 跑约一百通真实生产通话,迭代十到十五次后达到 98% 通过率、中位轮次延迟 1.3 秒(上限 1.5 秒)才切换流量。首个账号迁移耗时一周且未回滚,上线后问题拦截率提升 15%,Serve 估算该客户每年再省 32 万美元。

10月3日周六
  1. Cactus Engineering Blog48

    Cactus Whistle 端侧语音识别实践:30 秒上限、80 毫秒词级时间戳与流式提交机制

    Cactus 工程博客给出 Whistle(16.9 MB 端侧 STT 模型)的实用指南:输入为 16 kHz 单声道 float,单次调用最长 30 秒,超出需分片或走流式 API;word_timestamps=True 可输出词级起止与置信度,时间分辨率约 80 ms;流式模式下每个分块重转写缓冲音频,连续两轮一致的词才会提交,保证已出文本不被回改。

10月2日周五
  1. Tavus Blog15

    如何用 Tavus PALs 构建能实时回答买家问题的 AI 产品演示

    Tavus 用 Personified Application Layers(PALs)构建实时 AI 产品演示,让 AI 数字人在直播演示中即时回答买家的定价、集成与安全问题,并当场预约会议。其 Phoenix-4.5 面部行为引擎支持 10+ 种可控情绪状态,Raven-1 多模态感知以低于 100ms 延迟融合语气与表情,Sparrow-2 在 TurnBench 公开开发集上达到 92.4% 轮次结束召回率。

  2. Tavus Blog22

    如何用 2 分钟视频创建 AI 克隆:Tavus 详解录制、训练与实时 PAL 部署

    Tavus 介绍用约 2 分钟视频训练 AI 克隆的完整流程:在 PAL Maker 中上传片段、选择训练路径并预览 Replica,录制需 1080p、25fps 以上,且包含至少 30 秒说话片段。实时 PAL 通过 Raven-1、Sparrow-2、Phoenix-4.5 等模型实现 40fps 1080p 面部渲染与约 30ms 知识库检索,并借助 Persistent Memory 跨会话记忆。

  3. Tavus Blog22

    Tavus 解析实时视频智能体的 AI 微服务架构:拆分感知、对话流、推理与面部行为

    Tavus 提出用 AI 微服务架构拆分实时视频智能体,将感知、对话流、推理和面部行为生成拆为四个可独立部署、独立扩缩容的服务,避免单体架构中一处卡顿导致整张脸冻结。感知服务输出上下文陈旧度不超过 300ms,行为生成需维持 1080p 下 40fps,并满足 ITU-R 音频领先视频 45ms、滞后 125ms 的可察觉阈值。

9月29日周二
  1. AWS Media Blog38

    用 Amazon CloudFront 缓存标签自动化流媒体内容刷新

    流媒体平台可用 Amazon CloudFront 缓存标签按语义分组缓存对象,并通过单次 API 调用精准失效,替代逐条枚举 URL 路径或通配符刷新。配合 EventBridge 与 Lambda,可构建事件驱动的自动刷新链路,从事件发布到缓存清除通常在数秒内完成。每个缓存对象最多 50 个标签,标签不支持通配符,每月前 1000 条失效路径或标签免费,超出部分每条 $0.005。

  2. 海外技术动态64

    CDN77 详述为何用 NETINT ASIC 转码器替代 x264 与 NVENC 承载数万路直播

    CDN77 媒体系统架构师详解其转码硬件选型:在对客户数百条样本视频、数万次编码的对比测试中,NETINT Quadra T1U ASIC 在 720p/500kbps-1Mbps 社交媒体码率下画质优于 x264,较 GPU 方案约好 10%,能效约为 GPU 的 3 倍;团队最终采购数千张卡承载上万个并行直播流,并用 capped CRF 平衡画质与码率尖峰。文中同时讨论了 ASIC 锁定单一应用的风险与对冲方式。

    推荐理由:罕见的规模化直播转码硬件选型实测复盘,CPU/GPU/ASIC 三路线的画质与能效数据有直接采购参考价值。

9月25日周五
9月22日周二
  1. Mux Blog36

    Mux 解析如何用帧、镜头和场景为 AI 视频工作流组织视频

    Mux 提出用帧、镜头、场景三级结构为视频 AI 工作流提供输入,以 Mux Robots 为例说明按问题选择粒度可减少送入视觉模型的图像量。一小时的 30fps 视频含 108,000 帧,逐帧分析既慢又贵;帧回答单个时刻的问题,镜头定位画面切换,场景圈定完整段落。Mux Video 的 Shots 功能通过比较相邻帧的视觉信号检测剪辑点,输出边界列表和每个镜头的代表图。

9月18日周五
  1. Cactus Engineering Blog19

    如何为 Needle 3 设计工具:把约束写进 schema 与语法

    Cactus 分享为 Needle 3 设计工具集的规则:每个动作一个工具,参数必须从请求原文中复制,无对应文本的必填参数会直接扣留调用。工具名和枚举值应使用用户会说的词,取值范围、枚举、长度等约束编译进解码语法,使非法值无法生成。描述无法穷举的说法可用触发器正则匹配,将解码限定到对应工具并强制产生调用。

  2. Cactus Engineering Blog50

    Cactus 详解 Needle 的 .cact 单文件格式与 2.125 比特量化

    Cactus 介绍其端侧模型 Needle 使用的 .cact 单文件格式:196 字节头部携带全部架构几何信息,无名张量目录按前向顺序排列,权重以 128 个一组做 Hadamard 旋转后按 Lloyd-Max 码本量化,CQ2 下每权重 2.125 比特。内核直接读取打包索引做查表与 sdot 累加,不展开权重,20 层 needle3.cact 为 29 MB、581 个张量。文中还给出用 struct 解析头部与目录的二十行 Python 代码,并说明同一容器可承载语音模型 Whistle。

    推荐理由:原文拆解了 .cact 单文件格式的头部、目录与分组量化设计,并给出二十行解析代码,可迁移到自研端侧模型加载器。

9月9日周三
  1. LiveKit Blog62

    LiveKit 解释语音智能体中 VAD inference is slower than realtime 警告的含义与排查方法

    LiveKit 说明语音智能体日志中的 VAD inference is slower than realtime 警告与 STT、TTS、LLM 模型无关,指的是智能体进程内的语音活动检测模型处理 32ms 音频窗口耗时超过 32ms,警告中的延迟表示 VAD 落后实时音频的程度,Python 以秒、Node.js 以毫秒报告。排查应先排除阻塞事件循环的同步代码,再检查 CPU 负载,可通过 VAD 的 metrics_collected 事件中 inference_duration_total 与 inference_count 的比值判断是 CPU 饥饿还是事件循环阻塞;不要给 VAD 增加线程或调大 max_buffered_speech、num_idle_processes。

    推荐理由:LiveKit 官方拆解 VAD 落后于实时音频的成因与排查顺序,可对照日志中的延迟数值定位是 CPU 还是事件循环问题。