LiveKit Agents 发布 2.0.0b1 版本
LiveKit Agents 发布 2.0.0b1 版本,对应提交 9946b6d,由 github-actions[bot] 协作完成。该提交在 GitHub 上创建并带有已验证签名,随版本附带 2 个资源文件。
LiveKit Agents 发布 2.0.0b1 版本,对应提交 9946b6d,由 github-actions[bot] 协作完成。该提交在 GitHub 上创建并带有已验证签名,随版本附带 2 个资源文件。
W3C 出版维护工作组公布 EPUB 3.4 候选规范,新增 rendition:layout 的 roll 值,使 Webtoon 式竖向长条漫画可在 EPUB 中渲染,但仅适用于固定版式文档。规范同时加入 AVIF、JPEG XL、OPUS 等内容类型,并将字体混淆等特性标记为过时或弃用。EPUBCheck v5.4.0 已发布以支持 EPUB 3.4 校验,旧文件若通过校验即自动符合新版本。
LiveKit Agents 发布 1.8.6,新增 Nabrah 阿拉伯语 STT 插件和 Sarvam bulbul:v4-flash TTS,并为 Speechify 加入流式 synthesize()、HTTP 连接复用与 prewarm()。该版本还修复了 AWS 实时会话在流重启后中断、OpenAI Responses API 连接预热、实时工具循环 max_tool_steps 未生效等问题,并让 gpt-5.1+ 在 reasoning_effort 为 none 时保留 temperature/top_p。
GStreamer 发布 1.28 稳定系列的 1.28.8 修复版本,仅含缺陷修复与多项安全修复,官方建议从 1.28.x 尽快升级。该版本修复了 adaptivedemux2 的 HLS 和 DASH 播放回归、FLAC 音频拖动回归,并改进 Windows 音视频拖动、AMD AMF AV1 编码器强制关键帧及 FFmpeg 封装音频编码器排空等问题。Android、iOS、macOS 和 Windows 二进制包将随后发布。
mediasoup 3.29.0 修复了 SCTP 在空流列表下延迟流重置未生效的问题,并新增 sctpZeroChecksum 选项以启用 RFC 9653 定义的 SCTP 零校验和。该版本还调整了 consumer.getStats() 的丢包统计口径,fractionLost 和 packetsLost 现在只统计到消费端下行链路的丢包,不再把发送端上行丢包计入;同时移除 rtpPacketLossReceived 和 rtpPacketLossSent 两项传输自定义统计。
mediasoup Rust 0.30.0 发布,新增 sctpZeroChecksum 选项以启用 RFC 9653 定义的 SCTP 零校验和,并修复空流列表下延迟流重置未延迟入站数据的问题。该版本为破坏性变更:consumer.getStats() 的 fractionLost 与 packetsLost 现仅统计到消费端下行链路的丢包,不再把发送端上行丢包计入。
MediaMTX 发布 v1.21.2,修复连接关闭时误丢 UDP 包、遗留凭据导致播放服务器可被任意访问,以及未携带 JWT 时仍请求 JWKS 的问题。该版本还修复 API 重载死锁、RTSP 会话踢出竞态,并将 Media-Over-QUIC 的目录轨道名由 ".catalog" 改为 "catalog"。
LiveKit Server 发布 v1.13.9,将 v1.13.8 引入并导致 egress 启动失败的行为变更回退到 v1.13.7 及之前的状态。
whisper.cpp 发布 v1.9.5 维护版本,同步将 ggml 升级至 v0.26.0,nightly 构建号为 b5454。此次更新以 ggml 后端修复与优化为主,涵盖 CUDA、Vulkan、Metal、WebGPU、SYCL、Hexagon 等平台的 Flash Attention、量化与矩阵乘内核改进,并修复多处内存越界与溢出问题。
whisper.cpp 发布预发布版 b5454,将版本号提升至 1.9.5,对应提交 d1be6fd 已在 GitHub 上通过签名验证。该版本由 #4102 号改动完成版本号更新,目前以预发布形式提供。
LiveKit Agents 1.8.5 新增粘性 LLM 回退路由,并加入 Boson Avatar 插件与 AWS Nova Sonic 2.5 支持。该版本还修复了 Google Vertex AI 工具响应携带调用 ID、OpenAI 实时重连时重放函数调用及输出、ElevenLabs WebSocket 预热等问题,并更新 pyjwt 至 v2.15.0。
Jitsi Meet 新增多屏支持,一次会话可把演讲者画面、屏幕共享、白板等分别渲染到多个显示器,无需重复入会。第二屏通过 React portal 复用同一 redux store 和组件,视频轨道用 track.clone() 克隆且不增加解码;由 iframe External API 的 setSecondScreen 命令和三个事件控制,也可在参会者右键菜单等处触发。该功能默认关闭,需配置 secondScreen.enabled=true 开启,目前仅支持 Chromium 系浏览器,且需要弹窗和窗口管理两项权限。
推荐理由:Jitsi Meet 新增多屏渲染能力,读者可了解其与开两个标签页在参会者身份和媒体订阅上的差别。
Pipecat 发布 v1.12.0,新增 Pipecat Classifiers,可通过 JevClassifier 或 LLMClassifier 对状态提出是/否、选择与评分问题,并新增 TTSService.pronunciation_transform_ipa() 用词到 IPA 的映射控制专有名词发音。MOQTransport 增加客户端模式重连,断线后按退避重拨,MOQParams.connection_timeout 默认由 30 s 改为 60 s;同时弃用 UninterruptibleFrame、BaseUIWorker 等接口,将在 2.0.0 移除。
推荐理由:版本说明覆盖分类器、MOQ 重连与语音合成发音等多项能力变化,并列出弃用与移除项,便于评估升级影响。
SRS 发布 8.0 开发版首个版本 v8.0-d0,对应 8.0 dev0 与 v8.0.48,代码约 328208 行,并在 README 和 SRS 8.0 changelog 中加入该发布线。该版本提供源码包 srs-server-8.0-d0.tar.gz、CentOS7 x86_64 二进制包,以及 ossrs/srs:8、ossrs/srs:v8.0-d0、ossrs/srs:8.0.48 三个 Docker 镜像标签。
推荐理由:SRS 发布 8.0 开发版首个版本,给出了版本号、代码规模和 Docker 镜像标签,可据此判断升级节奏。
SRS 发布 v7.0-a1,即 7.0 alpha1 版本,对应版本号 v7.0.165,代码量 315306 行。该版本提供源码包 srs-server-7.0-a1.tar.gz 与 CentOS7 x86_64 二进制包,并已推送 Docker 镜像 ossrs/srs:7、ossrs/srs:v7.0-a1 和 ossrs/srs:7.0.165。
GStreamer Conference 2026 的初步演讲列表、摘要与讲者简介已公布,会议将于 2026 年 10 月 10-11 日在捷克布拉格举行,会后设 hackfest。议题涵盖 GStreamer 状态、Rust 版 MPEG-TS 解复用器、GstVA 与 GstVulkan 更新、WebRTC、GStreamer 2.0 讨论及 AI 相关工具等,注册与详情见会议官网。
TEN Framework 发布 0.11.73,新增 ASR 的 rtzr 流式扩展和 TTS 评审技能,并支持日志配置热重载。该版本还移除了 Cartesia TTS 的默认 output_format,修复了 codex_base_url、覆盖率 LLVM 工具链与 Rust nightly 对齐等问题。
LiveKit Agents 与 Pipecat 是构建生产级实时语音和视频 AI Agent 的两个主流开源框架,前者基于 LiveKit 自有的开源 WebRTC 和 SIP 服务器、对 Agent 做较高层抽象,后者不预设传输层、对处理链路做较低层抽象。两者都支持语音转文本→语言模型→文本转语音的核心链路及端到端语音模型,但 LiveKit Agents 放弃传输层选择与阶段增删,换取分发、扩展和多方会话的现成支持;Pipecat 则需自行接入传输并逐级组装链路。
MediaMTX v1.21.1 修复了 WebRTC 播放 AV1 流时因编码器填充 OBU padding 导致的卡顿,并过滤 DJI 无人机流中特定 UUID 的 SEI 单元以解决 Chrome 和 Firefox 解码卡死。HLS 会话改由服务器管理,muxer 关闭后会话保留最多 30 秒并返回 404 而非 401。此外要求浏览器 POST 请求携带允许的 origin,并修复 H265 DTS 提取与 MP4 封装等多项问题。
SRS 发布 7.0 首个 alpha 版本 7.0-a0(v7.0.162),相比 v7.0-d0 聚焦安全与稳定性修复。其中将 libsrt 从 1.5.3 升级到 1.5.6 以修复 CVE-2026-55868/55869,并修复 WebRTC 播放视频编解码器应答、RTMP 严格客户端 chunk stream ID 恢复及 ParseBody 资源泄漏等问题。
TEN Framework 发布 0.11.72,新增讯飞(iFLYTEK)ASR 扩展并支持嵌套参数,同时为腾讯 ASR 的厂商元数据加入 appid。该版本修复了字节跳动 ASR 的厂商代码字符串化、Smallest 消息循环退出后重连、Fish Audio TTS 刷新等问题,并将字节跳动 ASR 版本升至 0.5.5、Deepgram ASR 升至 0.5.2。
FunASR 1.4.16 发布,修复混合设备推理中 vad_kwargs、punc_kwargs、spk_kwargs 的设备放置问题:重复推理调用不再改变已加载模型的设备配置,说话人推理改用说话人模型自身配置。该版本同时说明 SenseVoiceSmall 或 Paraformer 何时需要 CT-Transformer 标点后处理,并新增经测试的中英文原生 Transformers 使用指南。混合设备回归测试使用 CPU 占位权重与模拟加速器,不构成 CUDA、MPS 或 NPU 性能认证。
基于首个社区 Rust 移植的经验整理:测试用 oracle 与数字解读、.cact 容器的张量顺序保证、线上 prompt 格式、阶梯选层规则,以及无对比头的检索实现;引擎与权重已在 Hugging Face 公开。
Cactus 介绍其端侧模型 Needle 使用的 .cact 单文件格式:196 字节头部携带全部架构几何信息,无名张量目录按前向顺序排列,权重以 128 个一组做 Hadamard 旋转后按 Lloyd-Max 码本量化,CQ2 下每权重 2.125 比特。内核直接读取打包索引做查表与 sdot 累加,不展开权重,20 层 needle3.cact 为 29 MB、581 个张量。文中还给出用 struct 解析头部与目录的二十行 Python 代码,并说明同一容器可承载语音模型 Whistle。
推荐理由:原文拆解了 .cact 单文件格式的头部、目录与分组量化设计,并给出二十行解析代码,可迁移到自研端侧模型加载器。
Pipecat 发布 v1.10.0,openai 依赖放宽到 >=1.74.0,<4 并改用 httpx2 构建 HTTP 客户端,TLS 证书改为校验操作系统信任库,精简容器或 TLS 检查代理环境可能需要设置 SSL_CERT_FILE 或 SSL_CERT_DIR。SpeechmaticsSTTService 改为通过 speechmatics-agent-stt SDK 对接 Speechmatics Agent STT(/v2/agent),无法再连接旧实时端点,默认 turn_detection_mode 变为 VAD,默认模型为 linden-1,并移除 SpeakerFocusMode 等一批字段。此外新增 SmallestTTSService 的 continuation API 支持与 max_buffer_delay_ms、LiveKitParams.audio_out_queue_size_ms、GradiumSTTService 的 enable_turn_detection,DeepSeekLLMService 默认关闭 thinking,LmntTTSService 因 LMNT 关停被移除。
推荐理由:版本说明列出了多项破坏性变更与迁移方式,可据此判断现有语音管线是否需要调整依赖或参数。
FunASR 1.4.15 发布,移除 NumPy 版本上限并兼容 NumPy 2,同时修复 KWS 跨包/EOS 边界丢帧、动态 VAD 静音调度计入空闲时间及检查点排序纳入无效验证指标等问题。该版本还新增 MOSS 的 Gradio 配置与离线 vLLM 整段转写示例,支持时间戳和匿名说话人标签。NumPy 兼容性仅在 Linux/Python 3.12、NumPy 1.26.4 与 2.4.0 环境下验证,不保证覆盖所有历史依赖与 GPU 组合。
Zoom 发布开源 Web 远程医疗入门套件,基于 Zoom Video SDK 构建,覆盖医生与患者注册、预约、设备预览、视频问诊、聊天、屏幕共享、云录制、实时转写和 PDF 文件共享等核心流程。套件采用 Next.js 16、React 19 和 TypeScript,代码托管于 GitHub。官方声明该示例尚未按 HIPAA 合规设计或验证,未经独立安全与合规审查不得用于受保护健康信息。
Pipecat 团队发布 PhoneLLM Alpha 1,一个面向语音智能体场景的开源权重模型,基于 NVIDIA Nemotron 3 Nano 30B-A3B 全参数微调,采用 MoE 架构、3.5B 激活参数,以 BSD 许可发布且无商用限制。官方称其表现与 GPT 5.6 Terra 相当,但成本低 94%、P95 首 token 时间快 1,300ms,单请求 TTFT P95 在 B200 上低于 100ms。同时发布 PhoneBench v1 基准,用 LLM 评审团评估电话智能体的说话风格、工具调用准确性与每分钟运行成本;权重已上线 HuggingFace,官方建议将 temperature 设为 0 并关闭 thinking。
推荐理由:原文给出模型规格、延迟与成本测算方式,读者可据此判断自托管语音智能体是否划算。
LiveKit 正式发布 Unity SDK v2.0.0,将其从开发者预览转为正式版本,并称该 SDK 已与现有 LiveKit SDK 达到功能对齐。开发者可在 Unity 游戏中接入实时语音、视频和 AI,用于语音聊天、音视频直播、VR 远程操控机器人以及语音 AI 驱动的 NPC。2.0.0 带来移动端和桌面端的原生平台音频、基于 DataTracks 的高频数据消息和可配置 token 源的简化鉴权;官方支持 Unity 2022.3 及以上版本,覆盖 macOS、Windows、Linux、iOS 和 Android。
推荐理由:LiveKit Unity SDK 结束开发者预览并达到与其他 SDK 的功能对齐,可据此判断现有 Unity 项目是否迁移。
声网博客整理了5个可直接上手的免费语音AI工具,覆盖TTS、ASR与端到端语音对话链路。Bosonai Higgs TTS 3以4B参数提供零样本声音克隆和100+语言支持,API免费限速且兼容OpenAI格式;HuggingFace开源语音栈由Parakeet、Gemma 4 31B和Qwen3TTS组成,已在超9000台Reachy Mini机器人上部署。其余为浏览器转录工具SoundWise、支持单词级编辑的开源TTS ViiTorVoice,以及研究导向的扩散式ASR模型。
livekit-agents 1.6.0(2026-06-11)起支持异步函数工具:工具是同步的直到它调用 await ctx.update(message),首次调用会立即把控制权交还给 LLM 并以该消息作为工具返回值,语音 Agent 因此可以先播报进度、后台继续执行,后续更新只在 Agent 与用户都空闲时播报。文章以退款场景演示(验证订单 6 秒 + 出款 8 秒,共约 14 秒静默导致用户挂断),并给出可取消工具(cancelable 标志会向 LLM 暴露取消工具)、重复调用的四种处置模式以及 ctx.with_filler() 在更新间隙插入填充语音的写法。
推荐理由:针对语音 Agent 工具调用冷场这一高频体验问题,给出可直接复制的框架级实现。
声网开源的实时多模态对话 AI 框架 TEN Framework 把 STT、LLM、TTS、VAD、Turn Detection 等环节抽象为可插拔 Extension,用 Graph 定义数据流并并发调度,换模型只需改配置。其 Turn Detection 基于 Qwen2.5-7B 做语义级打断判断,支持中英文,传输层支持 RTC、WebSocket、SIP。按 Demo 流程配置 Agora、Deepgram、ElevenLabs、OpenAI 的 Key 后,约 20 分钟可跑通。
Ampere 向 FFmpeg 捐赠了一台 AmpereOne(Mt. Mitchell)2U 服务器,配备 192 个 Arm 核心、512 GB 内存、24 个 NVMe 盘位和 2×25G 网络。为表庆祝,Dascha(daschasara)响应 FFmpeg 征集非 AI 艺术作品的号召,为其绘制了一幅画作。
NVIDIA 发布多语言语音转文字模型 Nemotron 3.5 ASR,同时提供多语言版和仅英文版 Nemotron 3 ASR 检查点,完全开源、可微调并支持自托管。作者在 Pipecat stt-benchmark 中测得该多语言模型速度超过基准中其他模型且准确率尚可,仅英文版速度相当、准确率接近当前最高分模型。延迟可通过音频处理 chunk size 调节,在 NVIDIA L40S 上以最低延迟配置可安全承载约 96 路并发转写,作者估算企业自托管成本约 $0.05/小时,而主流转写 API 通常为 $0.10-$1.00/小时。
推荐理由:作者用开源基准给出 Nemotron 3.5 ASR 的延迟与准确率位置,并附自托管成本与并发配置,便于评估语音代理选型。
2026年5月开源TTS横评覆盖Higgs Audio V2、Kokoro-82M、VibeVoice-1.5B、CosyVoice 2、Fish Speech和F5-TTS六款模型,按音质、速度、中文能力与资源消耗对比。CosyVoice 2中文自然度MOS 4.7居首,Higgs Audio V2情感表达4.7最强,VibeVoice-1.5B单次可生成90分钟、4说话人长音频。Kokoro-82M仅82M参数、4GB VRAM即可运行,Fish Speech协议为CC BY-NC-SA不可商用。
AOMedia 发布 SVT-AV1 v4.1.0,重构 MD、EncDec 与熵编码内核,并提升静态图像编码效率。该版本调整了 M3 及以下预设的色度 Wiener Filter 级别,优化静态图像屏幕内容编码,同时修复了单进程多实例编码器挂起等问题。
FFmpeg 8.1 "Hoare" 小版本发布,新增 xHE-AAC Mps212(实验性)、经 libmpeghdec 的 MPEG-H 解码、EXIF 元数据解析和 LCEVC 元数据解析转发,并加入基于 Vulkan 计算的 ProRes 编解码与 DPX 解码、D3D12 H.264/AV1 编码及 scale_d3d12 等滤镜、Rockchip H.264/HEVC 硬件编码。该版本还包含大量内部改动与缺陷修复,Vulkan 计算编解码器和部分滤镜不再依赖运行时 GLSL 编译,swscale 重写的前期工作正在推进。
推荐理由:FFmpeg 8.1 汇总了解码器、Vulkan 与 D3D12 硬件编解码及新滤镜等变化,可据此判断升级与硬件加速路径。
Daily.co 在 NVIDIA DGX Spark 上完成了开源 Smart Turn 语音轮次检测模型的训练,耗时约 61 分钟,与 NVIDIA L4 的 79 分钟和 RTX 5060 Ti 的 53 分钟大致相当。借助 128GB 统一内存,训练批次大小可设为 2000,但需改用 Arm 版依赖并启用 torchcodec 的 aarch64 nightly 构建。
Daily 发布语音智能体基准 aiwf_medium_context,测试文本模式 LLM 与语音到语音模型在约 30 轮长对话中的工具调用、指令遵循和知识引用,源码已在 GitHub 开源。结果显示已有三个模型在该基准上各项指标达到 100%,但都太慢,无法满足语音智能体所需的 1500ms 以内语音到语音响应(约对应文本模型 700ms TTFT);生产中最常用的仍是 GPT-4.1 和 Gemini 2.5 Flash,AWS Nova 2 Pro 在性能与延迟上与之持平。语音到语音模型中 Ultravox 0.7 表现突出,GPT Realtime 通过率为 86.7%,低于 GPT-4.1 的 94.9%。
推荐理由:Daily 公开语音智能体基准的源码与结果,可看到长多轮对话下模型能力与延迟之间的取舍。
Vidstack 作者回顾从 Vime 到 Vidstack 的 6 年:累计 90 亿次 CDN 请求、700 万次 NPM 下载、6200 个 GitHub Star 与 200 多个版本。核心结论是浏览器媒体元素的事件与状态不一致(事件可能不触发或连续触发),因此 Video.js v10 放弃插件式架构,改为编译期组件与可预测的状态流。
推荐理由:主流开源播放器 v10 重构的一手复盘,指向浏览器媒体事件模型的固有坑。