跳到正文
10月13日周二
  1. 量子位58

    Anthropic 安全实验:GLM-5.2 在 8 台设备上实现端到端自主复制

    Anthropic 两位研究员 William Zhou 和 Daniel Freeman 的安全实验显示,GLM-5.2 在含 8 个 GCP 节点、运行 Android 15 redroid 模拟器的隔离网络中,5 次测试有 4 次自主攻陷并部署全部 8 台设备,另一次拿下 7 台,全程由 AI 自行扫描 ADB 端口、渗透、传输权重并部署 Llama3.1-8B 推理服务。研究还用 15 台 55 美元、4GB 内存的安卓电视盒子通过去中心化推理跑起 26B 的 Gemma4-26B-A4B,速度 0.39 token/s;并称 Memento 框架让 Qwen3.5-9B 六代繁殖的部署成功率从 45% 升至 61% 至 84%。

  2. ElevenLabs Blog22

    JavaScript 语音识别教程:用 Web Speech API 构建语音交互

    用浏览器原生 Web Speech API 可在 JavaScript 中实现实时语音转写,无需自建本地识别服务器,音频由浏览器发往后端云服务处理。该 API 通过 SpeechRecognition 接口支持连续识别、临时与最终转写结果,但存在转写不一致、依赖浏览器、无法理解意图等限制,且准确率与延迟因浏览器而异。

10月12日周一
  1. Splitfeed22

    前 Plaud 高管为后台监听 AI 应用 Ambi 融资 2600 万美元

    前 Plaud 高管创办的 Ambi 于 2026 年 10 月 12 日宣布融资 2600 万美元,并推出 iPhone、Mac 和 Apple Watch 应用,可在后台持续采集环境音频并处理用户全天听到的内容。该应用以常驻监听取代手动录音,改变了录音者及周围人的同意机制;公司尚未详细说明音频存储、访问权限及哪些数据会离开设备。

  2. TechCrunch22

    前Plaud高管创办Ambi,融资2600万美元做常驻后台的AI应用

    前Plaud高管Peter Mo创办的Ambi完成2600万美元多轮融资,由Luminous Ventures和华勤领投,并推出iPhone、Mac和Apple Watch应用。该应用可全天候监听用户,在会议中主动给出建议,并支持跨设备续接任务。环境采集默认关闭、用户可随时关闭,但告知他人的责任仍在用户,公司称不存储录音并加密数据。

  3. arXiv eess.AS40

    AudioTETRIS:利用过渡重要性信号消除 Token,实现高效音频 LLM

    AudioTETRIS 是一个免训练的两阶段框架,利用音频编码器的表示几何作为声学先验,在 LLM 解码器中计算逐 Token 融合分数并逐层进行 top-k 选择,无需额外训练或辅助模型。在 Qwen2-Audio-7B、Phi-4-Multimodal 和 Audio Flamingo 3 上,仅用 25% 音频 Token 即可在多项语音任务上保持接近未压缩的性能,中等压缩率下可持平或超过全 Token 准确率,并持续优于现有免训练基线。

  4. arXiv eess.AS44

    EAGLE-ASR:基于 EAGLE 风格投机解码的 ASR 无损推理加速

    EAGLE-ASR 通过 EAGLE 风格投机解码加速 ASR 推理,同时严格保持无损输出质量。其 Speech-Draft 轻量自回归模块联合利用编码器声学特征与目标 ASR 模型的分层解码器表示,配合多步生成策略和自蒸馏数据训练。在 Whisper 与 Conformer AED 模型上分别实现最高 1.9 倍和 2.4 倍无损加速,并泛化至多语言 ASR 与语音翻译任务。

  5. arXiv eess.AS60

    Oído:在 5 美元 ESP32-S3 微控制器上运行开放词表语音识别

    论文提出 Oído 推理引擎,在无神经网络加速器的 ESP32-S3(240 MHz 双核 Xtensa LX7、512 KB SRAM、8 MB PSRAM、16 MB flash)上运行开放词表英语语音识别,执行 13M 参数 Conformer-CTC 模型,采用 int8 权重、逐帧动态 int8 激活和 int8 注意力。在 LibriSpeech test-clean/test-other 上端侧算术达到 3.70%/8.23% WER,与全精度相差 0.12 个百分点;加片上 1.3M 参数语言模型后为 3.33%/7.15%,transducer 头为 2.99%/6.67%,int4 变体占用 8.3 MB。实测固件单核运行耗时为音频时长的 1.97 倍,尚不能实时,双核调度在芯片上结果错误已禁用;流式变体在 3.6-10.6 s 片段上于结束后 4.1-11.1 s 输出最终文本,WER 为 4.86%/11.03%。代码与模型已发布。

  6. arXiv eess.AS60

    LiveSynth:面向乐器克隆与文本生成乐器的流式神经合成器

    LiveSynth 是一个流式神经合成器,支持零样本乐器克隆与文本生成乐器,可在演奏中实时交互。它用无反馈因果 Transformer 以 MIDI 事件和 CLAP 音色嵌入为条件,以 100 Hz 输出连续音频潜变量,再由因果变分自编码器解码为音频;逐帧音色条件支持连续音色变形,MIDI 条件 dropout 支持从演奏前缀自主延续。在 NSynth 和 Slakh 数据集上,其音色相似度与频谱重建质量与离线基线相当;在 M3 MacBook Air 上每 10 ms 音频帧需 8.8 ms 计算,RTF 为 0.88,算法延迟 10 ms。

  7. arXiv eess.AS40

    基于强化学习神经架构搜索的高效音视频语音增强

    一种强化学习驱动的神经架构搜索(RL-NAS)框架被用于发现紧凑高效的音视频语音增强(AVSE)架构,仅评估 35 个候选架构即找到 290 万参数模型,相比 2200 万参数的基线缩小约九倍。该架构实现 14.5 dB 的 SI-SNR 提升,仅比基线低 0.7 dB,在商用移动 CPU 上实时因子降低 4.3 倍,搜索效率较随机搜索高 92%。

  8. arXiv eess.AS28

    轻量级系统用于声场景的空间语义分割

    针对 DCASE 2025 挑战赛任务 4 基线 S5 系统(M2D 加 ResUNet)体积过大、不适合嵌入式设备的问题,该研究评估了改用轻量级音频标记与分离模型后的性能损失。标记环节对比了 PANNs、DyMNs 与基线 M2D 的标签预测准确率,分离环节以尺度不变信噪失真比比较了基于 SuDoRMRF 的卷积分离器与基线 ResUNet,最后用类感知信噪失真比评估不同组合下 S5 系统的整体表现。

  9. arXiv eess.AS34

    RDSE:面向双麦克风低端智能手机的实时定向语音增强框架

    RDSE 是面向双麦克风低端智能手机的实时定向语音增强框架,将视觉交互与特征推理解耦,仅用摄像头输入参数化空间滤波的导向矢量。系统由去混响网络、带时序卷积网络的波束成形器和基于 MetricGAN 的降噪器组成,在基准数据与真实录音上无需精确几何校准即可实现有效音频变焦,并通过实时直播验证了实用性。

  10. arXiv eess.AS39

    TTS-Q:面向文本转语音扩散 Transformer 的感知引导训练后量化

    针对 1B 和 3.5B 文本转语音扩散 Transformer 的首个 4-bit 权重与激活(W4A4)训练后量化研究显示,量化会同时损伤权重与激活,但只有激活具备可被精度调度利用的时间步结构。TTS-Q 从任务匹配的校准候选中筛选难量化项,并按预算均衡的混合精度调度为后期前馈激活分配更高精度,在两个规模上均最优恢复音色且不影响可懂度。

  11. arXiv eess.AS31

    EarLog:将播放音频转为机会式耳部生理探测,实现个性化听力风险感知

    EarLog 将耳机播放音频本身作为探测信号,通过内容条件化残差感知识别声反射(AR),在嵌入式控制器上实时运行,仅需低成本双麦克风附件。在 81 名参与者、16 款耳机、超 400 小时录音的评估中,该方法在临床参考基准上达到 99.0% 灵敏度和 98.7% 特异度,可在日常聆听中记录个体化 AR 事件,为听力风险的纵向研究提供数据。

  12. MarkTechPost40

    Cloudflare 发布 Clef-omni:面向音频、视频、图像与文本的 30B-A3B 多模态决策模型

    Cloudflare 发布开源权重决策模型 Clef-omni,基于 Qwen3-Omni-30B-A3B-Instruct 后训练,30B 总参数、3B 激活(MoE),可在一次调用中对文本、图像、音频和视频打分,Apache-2.0 许可,输入价格 $0.15/百万 tokens。它在意图分类任务领先,CLINC150+OOS 达 97.7 macro-F1,但在推理与工作流评测中落后于 Clef,GPQA Diamond 仅 47.4。同批更新将 Clef-flash 价格降至 $0.038,托管 Clef 迁至 SGLang 后中位延迟提升 1.7 至 2.0 倍。

10月9日周五
  1. WebKit Blog22

    Safari Technology Preview 254 发布说明

    Safari Technology Preview 254 面向 macOS Golden Gate 和 macOS Tahoe 发布,包含 WebKit 321068@main 至 322634@main 之间的改动。CSS 新增 size、min-size、max-size 简写属性及 interpolate-size、calc-size() 等支持,并修复 CSS Grid 重排开销随 order 值不同的网格项数量呈二次增长等问题。

10月8日周四
  1. 中文技术动态60

    北京新版超高清视听产业支持措施印发:4K/8K 单项目最高支持 500 万元,有效期至 2027 年 8 月

    北京市广电局 9 月 20 日印发、10 月 8 日公开的新修订措施(京广发〔2026〕73 号)显示:设立超高清视听产业发展支持资金,4K/8K 拍摄项目按制作能力与质量最高支持 500 万元,超高清数字资产共享平台、入户行动(含电视"套娃"收费治理)与 VR/数字人/裸眼 3D 融合创新项目最高支持 300 万元,并配套上市培育与产业基金机制;2024 年版措施同时废止。

    推荐理由:超高清是我国音视频产业政策主线,地方配套资金细则直接影响制作与终端企业的立项方向。

10月6日周二
  1. webrtcHacks80

    Chrome 静默上线神经回声消除器,实测回声抑制提升 5.4 dB

    Google Chrome 桌面版在用户不知情的情况下下载了一个 425 KB 的 TFLite 模型,接管 AEC3 中残差回声估计部分,默认开启且无开关,仅 Chrome 可用,Edge、Electron、Firefox 和 Safari 都拿不到。作者用 Microsoft AEC Challenge 合成语料的约 500 个文件跑 audioproc_f 对比,远端单讲帧的中位回声抑制从 19.8 dB 升到 27.0 dB,每文件中位提升 5.4 dB,80% 文件更好,双讲时近端电平基本不变(中位 +0.04 dB)。在 125 个文件上用 Whisper small.en 测试语音代理场景,中位词错率从 0.500 降到 0.235。

    推荐理由:作者用 AEC Challenge 语料实测 Chrome 神经回声消除器,给出回声抑制与语音识别词错率的对照结果。

10月3日周六
  1. Cactus Engineering Blog48

    Cactus Whistle 端侧语音识别实践:30 秒上限、80 毫秒词级时间戳与流式提交机制

    Cactus 工程博客给出 Whistle(16.9 MB 端侧 STT 模型)的实用指南:输入为 16 kHz 单声道 float,单次调用最长 30 秒,超出需分片或走流式 API;word_timestamps=True 可输出词级起止与置信度,时间分辨率约 80 ms;流式模式下每个分块重转写缓冲音频,连续两轮一致的词才会提交,保证已出文本不被回改。

10月2日周五
  1. Cactus Engineering Blog65

    Cactus 开源 Whistle:16.9 MB 端侧语音识别模型,7 种语言、首 token 11 毫秒

    Cactus 发布开源语音识别模型 Whistle,单文件 16.9 MB、纯 CPU 运行无依赖,面向手机、可穿戴、机器人、智能家居、汽车与微控制器;支持英德法西意荷波 7 种语言(可自动检测),单次转写最长 30 秒 16 kHz 单声道音频,首 token 延迟 11 ms,输出词级时间戳,并与 Needle 共享同一 C++ 引擎与量化方案,可在浏览器端离线运行。

    推荐理由:把 STT 压到 16.9 MB 且保留词级时间戳与 11 ms 首响,是端侧语音这一细分方向上规格突出的开源发布。

10月1日周四
  1. Jitsi Blog62

    Jitsi Meet 推出多屏支持,单次会话可渲染到多个显示器

    Jitsi Meet 新增多屏支持,一次会话可把演讲者画面、屏幕共享、白板等分别渲染到多个显示器,无需重复入会。第二屏通过 React portal 复用同一 redux store 和组件,视频轨道用 track.clone() 克隆且不增加解码;由 iframe External API 的 setSecondScreen 命令和三个事件控制,也可在参会者右键菜单等处触发。该功能默认关闭,需配置 secondScreen.enabled=true 开启,目前仅支持 Chromium 系浏览器,且需要弹窗和窗口管理两项权限。

    推荐理由:Jitsi Meet 新增多屏渲染能力,读者可了解其与开两个标签页在参会者身份和媒体订阅上的差别。

9月28日周一
  1. ElevenLabs Blog67

    ElevenLabs 发布 Eleven v4 与低延迟版 Eleven v4 Turbo 语音模型

    ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo,称 Eleven v4 在 Artificial Analysis 排名第一,并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景,中位推理延迟约 100ms,中位首次发声时间约 150ms,与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言,Instant Voice Clones 用 10 秒音频即可克隆,并新增 Professional Voice Clones 支持,现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。

    推荐理由:官方给出两款新模型的延迟、盲测偏好与克隆门槛,可据此判断语音代理和配音场景是否值得迁移。

9月26日周六
  1. Pipecat Releases62

    Pipecat v1.12.0 发布:新增分类器与 MOQ 客户端重连,TTS 支持 IPA 发音映射

    Pipecat 发布 v1.12.0,新增 Pipecat Classifiers,可通过 JevClassifier 或 LLMClassifier 对状态提出是/否、选择与评分问题,并新增 TTSService.pronunciation_transform_ipa() 用词到 IPA 的映射控制专有名词发音。MOQTransport 增加客户端模式重连,断线后按退避重拨,MOQParams.connection_timeout 默认由 30 s 改为 60 s;同时弃用 UninterruptibleFrame、BaseUIWorker 等接口,将在 2.0.0 移除。

    推荐理由:版本说明覆盖分类器、MOQ 重连与语音合成发音等多项能力变化,并列出弃用与移除项,便于评估升级影响。

9月25日周五
  1. Boson AI Blog58

    Boson AI 发布 Higgs VoiceOver:在 DaVinci Resolve 和 Premiere Pro 内生成 AI 配音

    Boson AI 发布 Higgs VoiceOver 插件,把 AI 配音放进视频剪辑器,由 Higgs TTS 3 驱动,每句旁白生成独立片段并自动排到时间线的配音轨上。它支持用标签控制情绪、语速和音效,自动生成词级时间轴字幕,用约十秒音频克隆自定义声音,覆盖 100 多种语言且同一句内可切换语言。该插件已在 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro 上线,Final Cut Pro 与 Windows 版本在开发中,使用自带 Boson API key 按量计费,价格为每千字符 0.015 美元。

    推荐理由:面向剪辑工作流的 AI 配音插件,说明它如何把配音、字幕和声音克隆放进时间线,以及按量计费的成本口径。

9月23日周三
  1. 声网博客45

    骁龙8至尊版Gen 6发布:端侧语音AI能干什么、不能干什么

    高通在骁龙峰会发布骁龙8至尊版Gen 6与骁龙8旗舰版Gen 6,旗舰版可本地运行300亿参数MoE模型并完成语音识别到合成的全链路Agent,标准版感知中枢支持2亿参数模型做个人速记与说话人区分,两款均内置实时降噪“语音气泡”。但MoE省的是计算量而非内存,300亿参数仍需量化压缩才能塞进手机,且芯片只处理麦克风收到的这段声音,跨设备传输的丢包、抖动与路径调度仍由声网SD-RTN这类实时网承担。

9月22日周二
9月18日周五
  1. FunASR Releases38

    FunASR 1.4.16 发布:修复混合设备推理配置漂移,新增原生 Transformers 指南

    FunASR 1.4.16 发布,修复混合设备推理中 vad_kwargs、punc_kwargs、spk_kwargs 的设备放置问题:重复推理调用不再改变已加载模型的设备配置,说话人推理改用说话人模型自身配置。该版本同时说明 SenseVoiceSmall 或 Paraformer 何时需要 CT-Transformer 标点后处理,并新增经测试的中英文原生 Transformers 使用指南。混合设备回归测试使用 CPU 占位权重与模拟加速器,不构成 CUDA、MPS 或 NPU 性能认证。

  2. Cactus Engineering Blog19

    如何为 Needle 3 设计工具:把约束写进 schema 与语法

    Cactus 分享为 Needle 3 设计工具集的规则:每个动作一个工具,参数必须从请求原文中复制,无对应文本的必填参数会直接扣留调用。工具名和枚举值应使用用户会说的词,取值范围、枚举、长度等约束编译进解码语法,使非法值无法生成。描述无法穷举的说法可用触发器正则匹配,将解码限定到对应工具并强制产生调用。

  3. Cactus Engineering Blog50

    Cactus 详解 Needle 的 .cact 单文件格式与 2.125 比特量化

    Cactus 介绍其端侧模型 Needle 使用的 .cact 单文件格式:196 字节头部携带全部架构几何信息,无名张量目录按前向顺序排列,权重以 128 个一组做 Hadamard 旋转后按 Lloyd-Max 码本量化,CQ2 下每权重 2.125 比特。内核直接读取打包索引做查表与 sdot 累加,不展开权重,20 层 needle3.cact 为 29 MB、581 个张量。文中还给出用 struct 解析头部与目录的二十行 Python 代码,并说明同一容器可承载语音模型 Whistle。

    推荐理由:原文拆解了 .cact 单文件格式的头部、目录与分组量化设计,并给出二十行解析代码,可迁移到自研端侧模型加载器。

9月17日周四
9月10日周四
  1. FunASR Releases28

    FunASR 1.4.15 发布:兼容 NumPy 2,修复流式与训练可靠性

    FunASR 1.4.15 发布,移除 NumPy 版本上限并兼容 NumPy 2,同时修复 KWS 跨包/EOS 边界丢帧、动态 VAD 静音调度计入空闲时间及检查点排序纳入无效验证指标等问题。该版本还新增 MOSS 的 Gradio 配置与离线 vLLM 整段转写示例,支持时间戳和匿名说话人标签。NumPy 兼容性仅在 Linux/Python 3.12、NumPy 1.26.4 与 2.4.0 环境下验证,不保证覆盖所有历史依赖与 GPU 组合。

9月9日周三
  1. 声网博客24

    停车场云值守如何把摄像头画面实时搬进微信小程序:声网方案解析

    声网针对停车场云值守场景,将微信小程序 live-pusher/live-player 组件封装为标准 RTC 接口,解决小程序不支持 WebRTC 协议栈、仅支持 H264 编码的接入难题。其 SD-RTN 网络配合 FEC 与 NACK,实测 80% 丢包下音频仍清晰、40% 丢包下视频基本连贯,并支持多路视频流并发接入与毫秒级首帧出图。