跳到正文
10月13日周二
10月12日周一
  1. arXiv eess.AS60

    Oído:在 5 美元 ESP32-S3 微控制器上运行开放词表语音识别

    论文提出 Oído 推理引擎,在无神经网络加速器的 ESP32-S3(240 MHz 双核 Xtensa LX7、512 KB SRAM、8 MB PSRAM、16 MB flash)上运行开放词表英语语音识别,执行 13M 参数 Conformer-CTC 模型,采用 int8 权重、逐帧动态 int8 激活和 int8 注意力。在 LibriSpeech test-clean/test-other 上端侧算术达到 3.70%/8.23% WER,与全精度相差 0.12 个百分点;加片上 1.3M 参数语言模型后为 3.33%/7.15%,transducer 头为 2.99%/6.67%,int4 变体占用 8.3 MB。实测固件单核运行耗时为音频时长的 1.97 倍,尚不能实时,双核调度在芯片上结果错误已禁用;流式变体在 3.6-10.6 s 片段上于结束后 4.1-11.1 s 输出最终文本,WER 为 4.86%/11.03%。代码与模型已发布。

10月9日周五
  1. AWS Media Blog50

    AWS 发布开源文件传输工具 File Mover Express,直传 Amazon S3

    AWS 发布开源文件传输应用 File Mover Express,在 Apache 2.0 许可下于 GitHub 提供 macOS、Windows 和 Linux 预编译包,用于在本机与 Amazon S3 之间搬运媒体素材。其守护进程式传输引擎把任务与桌面会话解耦,支持断点续传、热文件夹自动上传、带宽限速,以及 XXH3、XXHash、XXHash64、MD5 校验和读取 MHL 清单文件;数据经内置 S3 API 直传,不经过中继或第三方服务,并提供 GUI、CLI 和可选 MCP 服务器三种操作方式。

    推荐理由:AWS 官方开源的文件传输工具,用守护进程把传输与桌面会话解耦,并给出 MHL 校验与直传 S3 的取舍。

10月7日周三
10月6日周二
  1. LiveKit Server Releases12

    LiveKit Server v1.13.8 发布

    LiveKit Server 发布 v1.13.8,新增 agent HTTP endpoints 数据平面,并支持将 sender report 的 abs-capture-time 原样透传。该版本还修复了接收端关闭后仍添加 down track、无 dispatch rule 时改为拒绝而非丢弃等问题,并优化了 SFU 转发路径的每包内存分配。

10月2日周五
  1. Cactus Engineering Blog65

    Cactus 开源 Whistle:16.9 MB 端侧语音识别模型,7 种语言、首 token 11 毫秒

    Cactus 发布开源语音识别模型 Whistle,单文件 16.9 MB、纯 CPU 运行无依赖,面向手机、可穿戴、机器人、智能家居、汽车与微控制器;支持英德法西意荷波 7 种语言(可自动检测),单次转写最长 30 秒 16 kHz 单声道音频,首 token 延迟 11 ms,输出词级时间戳,并与 Needle 共享同一 C++ 引擎与量化方案,可在浏览器端离线运行。

    推荐理由:把 STT 压到 16.9 MB 且保留词级时间戳与 11 ms 首响,是端侧语音这一细分方向上规格突出的开源发布。

9月26日周六
  1. 海外技术动态58

    libaom v3.15 发布:VOD 低复杂度解码模式支持 720p-1080p 并修复一批 AI 检出的安全问题

    AOMedia 视频 编码工作组发布 libaom v3.15(代号 Quibble Pants,发布 tag v3.15.1):完成 VOD 场景低复杂度解码模式的开发并支持 HD 分辨率编码,IntraBC 屏幕内容编码提速且允许用于实时模式,同时修复了近期由 AI 工具检出的多个安全问题;官方建议所有 libaom 用户与发行版维护者升级。

    推荐理由:参考编码器的低复杂度解码模式走向实用,对带宽受限终端的 AV1 落地有直接价值。

9月14日周一
  1. LiveKit Server Releases10

    LiveKit Server v1.13.7 发布

    LiveKit Server 发布 v1.13.7,新增 VP9/AV1 simulcast 支持,并为 udp:// URL 拉流 ingress 加入可选支持。该版本还让 LocalParticipant 新增 GetSubscribedDataTracks,TCP 监听器上的 TURN 开始接受 PROXY protocol,并修复了数据轨道订阅死锁等问题。

9月6日周日
  1. Hugging Face Speech-to-Speech Releases62

    Hugging Face speech-to-speech 发布 v1.0.0:统一 Realtime 引擎与 serve/talk/local 三命令

    speech-to-speech 项目发布首个大版本 v1.0.0,整合为 serve、talk、local 三个命令,新增 Qwen3-ASR 识别、OpenAI 兼容 STT/TTS 端点、有状态 OpenAI Realtime 转写与实验性 vLLM Realtime 转写,并改进文本/音频/工具调用的有序输出、打断与 会话清理。浏览器演示基于 OpenAI Agents SDK,覆盖 WebSocket 与 WebRTC 两种传输的集成测试,Apple Silicon 默认改用 4-bit Qwen3-4B LLM 与 6-bit Qwen3-TTS。

    推荐理由:开源全栈语音对话管线的 1.0 里程碑,命令行与后端生态明显收敛,适合做语音 Agent 自建参考。

8月28日周五
  1. Inworld AI Blog62

    Inworld 开源 TTS 评测工具包:配置随结果存档、分数可溯源到样例与 ASR 转写

    Inworld 开源 TTS Open Evaluation Toolkit:离线采样各 TTS 系统并生成可对比报告,每次运行把配置与逐样例测量一起存档,用户可从分数回溯到源文本、音频、ASR 转写与所用阈值;首发包含常见指标与一套专门的英语对话压力测试集。针对同模型不同团队测出不同 WER(因 ASR 选择、文本归一化、失败样例取舍)这一评测不可复现问题。

    推荐理由:直击 TTS 评测不可复现的痛点,把协议与测量绑定存档的做法对建立可比基准有实际价值。

8月27日周四
  1. 海外技术动态55

    mediasoup-client 3.23.0 新增 RTP 扩展控制能力

    mediasoup-client 3.23.0 移除 transport.produce() 的 headerExtensionOptions,改为 Device 层 forcedRtpExtensions 按扩展 URI 强制开/关;该能力目前仅最新 Chrome 支持 WebRTC RTP Extension Control API,并修复了 Canary 149 中 abs-capture-time 引发的 codec collision 报错。

    推荐理由:浏览器 RTP 扩展控制能力落地到主流 SFU 客户端库,影响采集时间同步等特性接入方式。

8月5日周三
  1. Hugging Face Speech-to-Speech Releases58

    Hugging Face speech-to-speech v0.2.12:Smart Turn v3.2 端点检测与 OpenAI Realtime 的 WebRTC 传输

    speech-to-speech 0.2.x 线的收官版本:Realtime 模式默认启用量化 CPU 版 Smart Turn v3.2 区分完整话轮与思考中停顿(可用 --no_smart_turn 回退 Silero);为 OpenAI Realtime API 新增 WebRTC 传输,在 POST /v1/realtime/calls 做 SDP 协商,RTP 音频与 oai-events 数据通道与 WebSocket 共享同一管线池;并支持 --stt none 直接把 VAD 音频喂给带音频能力的 LLM。

    推荐理由:0.2.x 收官版集中落地话轮检测与 WebRTC 传输两项语音 Agent 关键能力,是 v1.0 之前的稳定基线。

8月4日周二
  1. 海外技术动态75

    FFmpeg 9.0 深度解读:swscale 重写落地、全库 ABI 升版与原生动图 WebP 解码

    VideoLAN 主席 Jean-Baptiste Kempf 逐子系统解读 FFmpeg 9.0:距 8.1 四个半月、160 余位作者的 2200+ 提交,七大库同时升版;Niklas Haas 主导的 swscale 重写引入操作列表分解与 Vulkan SPIR-V 后端,同一转换图可在 CPU/GPU 运行,并支持 SWS_BITEXACT 精确复现;另覆盖动画 WebP 原生解码、NVENC AV1 分层 B 帧与 x86/NEON/RISC-V 汇编优化。

    推荐理由:FFmpeg 9.0 是年内最重要的开源多媒体大版本,此文是目前最系统的第三方深度解读。

7月14日周二
  1. SVT-AV1 Releases70

    SVT-AV1 4.2 发布:新增 TUNE-VMAF 模式与面向 RTC 的 CBR 率控

    AOMedia 官方 AV1 编码器 SVT-AV1 4.2.0 在 VOD/随机访问模式新增 TUNE-VMAF 目标模式,宣称可带来约 15% 的 VMAF BD-rate 收益而 PSNR 损失极小,并支持单线程处理模式;在 RTC/低延迟模式加入基于 Kalman 滤波 QP 估计的 CBR 率控、循环刷新、帧级重编码以及运行时动态调整预设/码率/帧率的能力,同时补充 LTR 参考帧管理 API 与大量 Arm NEON/SVE2 优化。

5月26日周二
  1. 海外技术动态62

    mediasoup 3.20.0 发布:内置 SCTP 栈替换 usrsctp

    mediasoup 3.20.0(Node 3.2.0、Rust 0.22.0)用参考 libwebrtc dcsctp 实现的内置 SCTP 栈替换 usrsctp,解决 Rust 多 worker 线程下 usrsctp 非线程安全的问题;SctpParameters 类型与传输层选项同步调整,官方给出 demo 迁移 PR 作为升级参考。

    推荐理由:SFU 核心依赖层的重大重构,直接影响所有使用 DataChannel/SCTP 的 mediasoup 部署。

4月19日周日
  1. 海外技术动态62

    x265 4.2 发布:实验性线程化运动估计可将 1080p 编码提速至 1.5 倍

    MulticoreWare 发布 x265 4.2(2026-04-19),新增实验性的 Threaded Motion Estimation(--threaded-me),在多核低频机器上对 1080p 及更低分辨率最高提速 1.5 倍,但在高频或少核系统上开销可能超过收益;RISC-V 内核优化带来约 2 倍编码提速,ARM NEON/SVE SIMD 优化较 4.1 再快约 8%,并新增 ITU-T H.265 V9 的 Level 6.3-7.2 支持。自该版起项目转向纯 Trunk-Based 开发模式。

    推荐理由:主流 HEVC 编码器时隔较长的功能版本,线程化运动估计与 RISC-V/ARM 优化对编码农场选型有参考价值。

4月6日周一
3月16日周一
  1. 海外技术动态78

    FFmpeg 维护者 Lynne 在 Khronos 博客详解纯 Vulkan 计算着色器编解码器的实现

    FFmpeg Vulkan 代码维护者 Lynne 撰文解释如何用纯计算着色器在任意 Vulkan 1.3 GPU 上实现完整编解码器(FFv1、ProRes、DPX 等),不依赖厂商固定功能单元,并指出全 GPU 常驻(无 CPU 回传)是持续快速的关键;文章给出并行化与串行瓶颈的权衡分析。

    推荐理由:随 FFmpeg 8.1 发布的官方配套深度技术文,代表开源视频硬件加速路线的重要方向。

3月10日周二
  1. 海外技术动态72

    Hume AI 开源 TADA:1:1 文本声学对齐的零幻觉 TTS

    TADA(Text-Acoustic Dual Alignment)为每个文本 token 对齐一条连续声学向量,每秒音频仅需 2–3 帧而非传统方案的 12.5–75 帧,RTF 达 0.09(快于同级 LLM-TTS 5 倍以上);在 LibriTTS-R 1000+ 样本上以 CER>0.15 为门槛测得零幻觉,2048 token 上下文可容纳约 700 秒音频(传统方案约 70 秒),轻量到可端侧部署,代码与预训练模型已开放。

    推荐理由:从架构层面消解 LLM-TTS 的跳词幻觉问题并显著提速,开源后可直接进入语音 Agent 技术栈。

2月10日周二
2月6日周五
1月27日周二
  1. 海外技术动态60

    GStreamer 1.28.0 发布:新增 Vulkan AV1 解码

    GStreamer 1.28.0 于 2026 年 1 月 27 日发布,亮点包括 AMD HIP 插件与集成库、Vulkan Video 的 AV1/VP9 解码与 H.264 编码、waylandsink HDR10 元数据、基于 demucs 的 Rust 音频源分离元素、LiteRT 推理元素,以及 hlscmafsink 等 CMAF 单变体 HLS 输出元素。

    推荐理由:多媒体框架大版本更新,硬件编解码与 CMAF/HLS 输出能力直接影响转码与分发链路实现。

1月21日周三
  1. 海外技术动态65

    Fraunhofer 开源 VVC 编码器 vvenc 1.14 发布,启用默认 SVE 与大量 ARM 优化

    Fraunhofer HHI 的开源 VVC/H.266 编码器 vvenc 发布 1.14.0,加入大量 ARM NEON/SVE SIMD 优化并在支持的平台上默认启用 SVE,改进 VUI 自动启用与颜色范围设置,将时间戳字段改为有符号整数并废弃 LMCS;此前版本宣称相对 VTM 参考软件有 20 至 2400 倍加速(视预设而定),支持最高 32 线程帧级并行。

    推荐理由:VVC 软件编码生态的关键实现更新,ARM 优化降低了移动/嵌入式侧试用 VVC 的门槛。