跳到正文
6月24日周三
6月4日周四
  1. Daily.co Blog74

    NVIDIA 发布开源多语言语音识别模型 Nemotron 3.5 ASR

    NVIDIA 发布多语言语音转文字模型 Nemotron 3.5 ASR,同时提供多语言版和仅英文版 Nemotron 3 ASR 检查点,完全开源、可微调并支持自托管。作者在 Pipecat stt-benchmark 中测得该多语言模型速度超过基准中其他模型且准确率尚可,仅英文版速度相当、准确率接近当前最高分模型。延迟可通过音频处理 chunk size 调节,在 NVIDIA L40S 上以最低延迟配置可安全承载约 96 路并发转写,作者估算企业自托管成本约 $0.05/小时,而主流转写 API 通常为 $0.10-$1.00/小时。

    推荐理由:作者用开源基准给出 Nemotron 3.5 ASR 的延迟与准确率位置,并附自托管成本与并发配置,便于评估语音代理选型。

5月26日周二
  1. 声网博客28

    2026年5月开源语音合成模型TTS推荐与测评:Higgs Audio V2、CosyVoice 2等六款横评

    2026年5月开源TTS横评覆盖Higgs Audio V2、Kokoro-82M、VibeVoice-1.5B、CosyVoice 2、Fish Speech和F5-TTS六款模型,按音质、速度、中文能力与资源消耗对比。CosyVoice 2中文自然度MOS 4.7居首,Higgs Audio V2情感表达4.7最强,VibeVoice-1.5B单次可生成90分钟、4说话人长音频。Kokoro-82M仅82M参数、4GB VRAM即可运行,Fish Speech协议为CC BY-NC-SA不可商用。

3月24日周二
3月16日周一
  1. FFmpeg News62

    FFmpeg 8.1 "Hoare" 发布,新增 xHE-AAC、Vulkan 与 D3D12 硬件编解码支持

    FFmpeg 8.1 "Hoare" 小版本发布,新增 xHE-AAC Mps212(实验性)、经 libmpeghdec 的 MPEG-H 解码、EXIF 元数据解析和 LCEVC 元数据解析转发,并加入基于 Vulkan 计算的 ProRes 编解码与 DPX 解码、D3D12 H.264/AV1 编码及 scale_d3d12 等滤镜、Rockchip H.264/HEVC 硬件编码。该版本还包含大量内部改动与缺陷修复,Vulkan 计算编解码器和部分滤镜不再依赖运行时 GLSL 编译,swscale 重写的前期工作正在推进。

    推荐理由:FFmpeg 8.1 汇总了解码器、Vulkan 与 D3D12 硬件编解码及新滤镜等变化,可据此判断升级与硬件加速路径。

2月10日周二
2月2日周一
  1. Daily.co Blog60

    Daily 发布语音智能体 LLM 基准 aiwf_medium_context,测试长多轮工具调用与延迟

    Daily 发布语音智能体基准 aiwf_medium_context,测试文本模式 LLM 与语音到语音模型在约 30 轮长对话中的工具调用、指令遵循和知识引用,源码已在 GitHub 开源。结果显示已有三个模型在该基准上各项指标达到 100%,但都太慢,无法满足语音智能体所需的 1500ms 以内语音到语音响应(约对应文本模型 700ms TTFT);生产中最常用的仍是 GPT-4.1 和 Gemini 2.5 Flash,AWS Nova 2 Pro 在性能与延迟上与之持平。语音到语音模型中 Ultravox 0.7 表现突出,GPT Realtime 通过率为 86.7%,低于 GPT-4.1 的 94.9%。

    推荐理由:Daily 公开语音智能体基准的源码与结果,可看到长多轮对话下模型能力与延迟之间的取舍。

2月1日周日
1月15日周四
  1. Mux Blog58

    Mux 复盘 6 年播放器工程:Video.js v10 为何推倒重来

    Vidstack 作者回顾从 Vime 到 Vidstack 的 6 年:累计 90 亿次 CDN 请求、700 万次 NPM 下载、6200 个 GitHub Star 与 200 多个版本。核心结论是浏览器媒体元素的事件与状态不一致(事件可能不触发或连续触发),因此 Video.js v10 放弃插件式架构,改为编译期组件与可预测的状态流。

    推荐理由:主流开源播放器 v10 重构的一手复盘,指向浏览器媒体事件模型的固有坑。

7月11日周五
  1. Cartesia Blog50

    Cartesia 发布 H-Nets 分层网络研究,直接从原始数据学习

    Cartesia 公布分层网络 H-Nets 研究,其动态分块机制把原始数据切分并压缩为更高层概念,由编码器、主网络和解码器三部分组成。在语言建模上,H-Nets 直接从原始字节学习,数据扩展性优于使用 BPE 分词的 Transformer,在中文、代码和 DNA 等无自然分词边界的领域提升更明显,并可堆叠学习更深层级,对大小写等输入扰动更稳健。团队已在 HuggingFace 发布 H-Net 2-stage XL、1-stage XL 和 1-stage L 检查点。

    推荐理由:原文给出 H-Net 在语言建模上的三项结果与架构设计,可据此判断分层建模对多模态与长上下文的适用边界。

3月28日周五
11月14日周四
  1. Cartesia Blog12

    Cartesia 十月黑客松回顾:2000 多名开发者基于 Sonic 语音模型打造 50 多个项目

    Cartesia 在 2024 年 10 月联合 AGI House SF、Daily 和 UC Berkeley Cal Hacks 举办三场黑客松,吸引 2000 多名开发者,围绕其 Sonic 语音模型完成 50 多个项目,并发出 2 万美元奖金。获奖项目涵盖语音填表、机器人厨师、语言学习等方向,其中 Stella 还整合了 Coval 测试框架与 Daily 实时通信基础设施。

8月28日周三
  1. Cartesia Blog60

    Cartesia 发布端侧智能更新:开源 SSM 库 Edge、1.3B 模型 Rene 与 Sonic On-Device 内测

    Cartesia 发布端侧智能更新,推出开源(Apache 2.0)SSM 库 Edge、1.3B 参数开源语言模型 Rene,以及进入内测的 Sonic On-Device。Edge 面向 Apple M 系列芯片提供 Mamba-2 的 Metal 内核,并配套 Python 包 cartesia-mlx;Rene 采用 Mamba-2 与 MLP 交替、穿插滑动窗口注意力的混合结构,在 1.5T tokens 的 Dolma-1.7 上训练,推理时内存占用固定,支持 8-bit 和 4-bit 量化。Sonic On-Device 支持端侧低延迟实时流式生成语音,具备即时克隆与可控发音、语速和情感。

    推荐理由:Cartesia 把 SSM 架构落到端侧,同时开源模型与推理库,可据此判断端侧语音与语言模型的可行路径。

3月4日周一
  1. Cartesia Blog62

    Cartesia 提出 Based 架构:提示处理比 FlashAttention-2 快 56%,生成吞吐高 24 倍

    Cartesia 发布论文与博客,提出循环架构 Based,用滑动窗口注意力(窗口 64)加线性注意力(对 exp(QK^T) 做二阶泰勒近似)组合,在信息抽取、阅读理解等召回密集型任务上平均比 Mamba 高 6.22 个准确率点。处理提示时 Based 比 FlashAttention-2 和 Mamba 分别快 56% 和 44%,文本生成吞吐最高达 FlashAttention-2 的 24 倍;但 Based 与 Mamba 仍不及最强 Transformer 基线。配套 IO 感知算法与检查点已在 Hugging Face 和 GitHub 仓库开源。

    推荐理由:论文给出召回与显存之间的权衡分析,并说明 Based 如何用滑窗加线性注意力落到该曲线上。