Ampere 向 FFmpeg 捐赠 192 核 AmpereOne 服务器
Ampere 向 FFmpeg 捐赠了一台 AmpereOne(Mt. Mitchell)2U 服务器,配备 192 个 Arm 核心、512 GB 内存、24 个 NVMe 盘位和 2×25G 网络。为表庆祝,Dascha(daschasara)响应 FFmpeg 征集非 AI 艺术作品的号召,为其绘制了一幅画作。
Ampere 向 FFmpeg 捐赠了一台 AmpereOne(Mt. Mitchell)2U 服务器,配备 192 个 Arm 核心、512 GB 内存、24 个 NVMe 盘位和 2×25G 网络。为表庆祝,Dascha(daschasara)响应 FFmpeg 征集非 AI 艺术作品的号召,为其绘制了一幅画作。
NVIDIA 发布多语言语音转文字模型 Nemotron 3.5 ASR,同时提供多语言版和仅英文版 Nemotron 3 ASR 检查点,完全开源、可微调并支持自托管。作者在 Pipecat stt-benchmark 中测得该多语言模型速度超过基准中其他模型且准确率尚可,仅英文版速度相当、准确率接近当前最高分模型。延迟可通过音频处理 chunk size 调节,在 NVIDIA L40S 上以最低延迟配置可安全承载约 96 路并发转写,作者估算企业自托管成本约 $0.05/小时,而主流转写 API 通常为 $0.10-$1.00/小时。
推荐理由:作者用开源基准给出 Nemotron 3.5 ASR 的延迟与准确率位置,并附自托管成本与并发配置,便于评估语音代理选型。
2026年5月开源TTS横评覆盖Higgs Audio V2、Kokoro-82M、VibeVoice-1.5B、CosyVoice 2、Fish Speech和F5-TTS六款模型,按音质、速度、中文能力与资源消耗对比。CosyVoice 2中文自然度MOS 4.7居首,Higgs Audio V2情感表达4.7最强,VibeVoice-1.5B单次可生成90分钟、4说话人长音频。Kokoro-82M仅82M参数、4GB VRAM即可运行,Fish Speech协议为CC BY-NC-SA不可商用。
AOMedia 发布 SVT-AV1 v4.1.0,重构 MD、EncDec 与熵编码内核,并提升静态图像编码效率。该版本调整了 M3 及以下预设的色度 Wiener Filter 级别,优化静态图像屏幕内容编码,同时修复了单进程多实例编码器挂起等问题。
FFmpeg 8.1 "Hoare" 小版本发布,新增 xHE-AAC Mps212(实验性)、经 libmpeghdec 的 MPEG-H 解码、EXIF 元数据解析和 LCEVC 元数据解析转发,并加入基于 Vulkan 计算的 ProRes 编解码与 DPX 解码、D3D12 H.264/AV1 编码及 scale_d3d12 等滤镜、Rockchip H.264/HEVC 硬件编码。该版本还包含大量内部改动与缺陷修复,Vulkan 计算编解码器和部分滤镜不再依赖运行时 GLSL 编译,swscale 重写的前期工作正在推进。
推荐理由:FFmpeg 8.1 汇总了解码器、Vulkan 与 D3D12 硬件编解码及新滤镜等变化,可据此判断升级与硬件加速路径。
Daily.co 在 NVIDIA DGX Spark 上完成了开源 Smart Turn 语音轮次检测模型的训练,耗时约 61 分钟,与 NVIDIA L4 的 79 分钟和 RTX 5060 Ti 的 53 分钟大致相当。借助 128GB 统一内存,训练批次大小可设为 2000,但需改用 Arm 版依赖并启用 torchcodec 的 aarch64 nightly 构建。
Daily 发布语音智能体基准 aiwf_medium_context,测试文本模式 LLM 与语音到语音模型在约 30 轮长对话中的工具调用、指令遵循和知识引用,源码已在 GitHub 开源。结果显示已有三个模型在该基准上各项指标达到 100%,但都太慢,无法满足语音智能体所需的 1500ms 以内语音到语音响应(约对应文本模型 700ms TTFT);生产中最常用的仍是 GPT-4.1 和 Gemini 2.5 Flash,AWS Nova 2 Pro 在性能与延迟上与之持平。语音到语音模型中 Ultravox 0.7 表现突出,GPT Realtime 通过率为 86.7%,低于 GPT-4.1 的 94.9%。
推荐理由:Daily 公开语音智能体基准的源码与结果,可看到长多轮对话下模型能力与延迟之间的取舍。
Jean-Baptiste Kempf 在 FOSDEM 2026 发布的年度社区状态更新,覆盖 FFmpeg、VLC、x264、dav1d、libplacebo、libspatialaudio 等开源多媒体项目的最新进展,以及新项目 Kyber 的动态。
推荐理由:开源音视频核心生态的一年一度社区盘点,了解项目走向的捷径。
Vidstack 作者回顾从 Vime 到 Vidstack 的 6 年:累计 90 亿次 CDN 请求、700 万次 NPM 下载、6200 个 GitHub Star 与 200 多个版本。核心结论是浏览器媒体元素的事件与状态不一致(事件可能不触发或连续触发),因此 Video.js v10 放弃插件式架构,改为编译期组件与可预测的状态流。
推荐理由:主流开源播放器 v10 重构的一手复盘,指向浏览器媒体事件模型的固有坑。
Cartesia 公布分层网络 H-Nets 研究,其动态分块机制把原始数据切分并压缩为更高层概念,由编码器、主网络和解码器三部分组成。在语言建模上,H-Nets 直接从原始字节学习,数据扩展性优于使用 BPE 分词的 Transformer,在中文、代码和 DNA 等无自然分词边界的领域提升更明显,并可堆叠学习更深层级,对大小写等输入扰动更稳健。团队已在 HuggingFace 发布 H-Net 2-stage XL、1-stage XL 和 1-stage L 检查点。
推荐理由:原文给出 H-Net 在语言建模上的三项结果与架构设计,可据此判断分层建模对多模态与长上下文的适用边界。
Cartesia 发布 Python SDK v2.0.0,围绕统一的 Cartesia 客户端重构,支持异步调用、流式响应和 WebSocket 实时低延迟语音应用。SDK 内置 4xx/5xx 异常处理、指数退避自动重试,默认超时 60 秒,并允许覆盖 httpx 客户端以支持代理等场景。
Cartesia 在 2024 年 10 月联合 AGI House SF、Daily 和 UC Berkeley Cal Hacks 举办三场黑客松,吸引 2000 多名开发者,围绕其 Sonic 语音模型完成 50 多个项目,并发出 2 万美元奖金。获奖项目涵盖语音填表、机器人厨师、语言学习等方向,其中 Stella 还整合了 Coval 测试框架与 Daily 实时通信基础设施。
Cartesia 发布端侧智能更新,推出开源(Apache 2.0)SSM 库 Edge、1.3B 参数开源语言模型 Rene,以及进入内测的 Sonic On-Device。Edge 面向 Apple M 系列芯片提供 Mamba-2 的 Metal 内核,并配套 Python 包 cartesia-mlx;Rene 采用 Mamba-2 与 MLP 交替、穿插滑动窗口注意力的混合结构,在 1.5T tokens 的 Dolma-1.7 上训练,推理时内存占用固定,支持 8-bit 和 4-bit 量化。Sonic On-Device 支持端侧低延迟实时流式生成语音,具备即时克隆与可控发音、语速和情感。
推荐理由:Cartesia 把 SSM 架构落到端侧,同时开源模型与推理库,可据此判断端侧语音与语言模型的可行路径。
Cartesia 发布论文与博客,提出循环架构 Based,用滑动窗口注意力(窗口 64)加线性注意力(对 exp(QK^T) 做二阶泰勒近似)组合,在信息抽取、阅读理解等召回密集型任务上平均比 Mamba 高 6.22 个准确率点。处理提示时 Based 比 FlashAttention-2 和 Mamba 分别快 56% 和 44%,文本生成吞吐最高达 FlashAttention-2 的 24 倍;但 Based 与 Mamba 仍不及最强 Transformer 基线。配套 IO 感知算法与检查点已在 Hugging Face 和 GitHub 仓库开源。
推荐理由:论文给出召回与显存之间的权衡分析,并说明 Based 如何用滑窗加线性注意力落到该曲线上。