Anthropic 两位研究员 William Zhou 和 Daniel Freeman 的安全实验显示，GLM-5.2 在含 8 个 GCP 节点、运行 Android 15 redroid 模拟器的隔离网络中，5 次测试有 4 次自主攻陷并部署全部 8 台设备，另一次拿下 7 台，全程由 AI 自行扫描 ADB 端口、渗透、传输权重并部署 Llama3.1-8B 推理服务。研究还用 15 台 55 美元、4GB 内存的安卓电视盒子通过去中心化推理跑起 26B 的 Gemma4-26B-A4B，速度 0.39 token/s；并称 Memento 框架让 Qwen3.5-9B 六代繁殖的部署成功率从 45% 升至 61% 至 84%。
AudioTETRIS 是一个免训练的两阶段框架，利用音频编码器的表示几何作为声学先验，在 LLM 解码器中计算逐 Token 融合分数并逐层进行 top-k 选择，无需额外训练或辅助模型。在 Qwen2-Audio-7B、Phi-4-Multimodal 和 Audio Flamingo 3 上，仅用 25% 音频 Token 即可在多项语音任务上保持接近未压缩的性能，中等压缩率下可持平或超过全 Token 准确率，并持续优于现有免训练基线。
EAGLE-ASR 通过 EAGLE 风格投机解码加速 ASR 推理，同时严格保持无损输出质量。其 Speech-Draft 轻量自回归模块联合利用编码器声学特征与目标 ASR 模型的分层解码器表示，配合多步生成策略和自蒸馏数据训练。在 Whisper 与 Conformer AED 模型上分别实现最高 1.9 倍和 2.4 倍无损加速，并泛化至多语言 ASR 与语音翻译任务。
论文提出 Oído 推理引擎，在无神经网络加速器的 ESP32-S3（240 MHz 双核 Xtensa LX7、512 KB SRAM、8 MB PSRAM、16 MB flash）上运行开放词表英语语音识别，执行 13M 参数 Conformer-CTC 模型，采用 int8 权重、逐帧动态 int8 激活和 int8 注意力。在 LibriSpeech test-clean/test-other 上端侧算术达到 3.70%/8.23% WER，与全精度相差 0.12 个百分点；加片上 1.3M 参数语言模型后为 3.33%/7.15%，transducer 头为 2.99%/6.67%，int4 变体占用 8.3 MB。实测固件单核运行耗时为音频时长的 1.97 倍，尚不能实时，双核调度在芯片上结果错误已禁用；流式变体在 3.6-10.6 s 片段上于结束后 4.1-11.1 s 输出最终文本，WER 为 4.86%/11.03%。代码与模型已发布。
LiveSynth 是一个流式神经合成器，支持零样本乐器克隆与文本生成乐器，可在演奏中实时交互。它用无反馈因果 Transformer 以 MIDI 事件和 CLAP 音色嵌入为条件，以 100 Hz 输出连续音频潜变量，再由因果变分自编码器解码为音频；逐帧音色条件支持连续音色变形，MIDI 条件 dropout 支持从演奏前缀自主延续。在 NSynth 和 Slakh 数据集上，其音色相似度与频谱重建质量与离线基线相当；在 M3 MacBook Air 上每 10 ms 音频帧需 8.8 ms 计算，RTF 为 0.88，算法延迟 10 ms。
一种强化学习驱动的神经架构搜索（RL-NAS）框架被用于发现紧凑高效的音视频语音增强（AVSE）架构，仅评估 35 个候选架构即找到 290 万参数模型，相比 2200 万参数的基线缩小约九倍。该架构实现 14.5 dB 的 SI-SNR 提升，仅比基线低 0.7 dB，在商用移动 CPU 上实时因子降低 4.3 倍，搜索效率较随机搜索高 92%。
针对 DCASE 2025 挑战赛任务 4 基线 S5 系统（M2D 加 ResUNet）体积过大、不适合嵌入式设备的问题，该研究评估了改用轻量级音频标记与分离模型后的性能损失。标记环节对比了 PANNs、DyMNs 与基线 M2D 的标签预测准确率，分离环节以尺度不变信噪失真比比较了基于 SuDoRMRF 的卷积分离器与基线 ResUNet，最后用类感知信噪失真比评估不同组合下 S5 系统的整体表现。
RDSE 是面向双麦克风低端智能手机的实时定向语音增强框架，将视觉交互与特征推理解耦，仅用摄像头输入参数化空间滤波的导向矢量。系统由去混响网络、带时序卷积网络的波束成形器和基于 MetricGAN 的降噪器组成，在基准数据与真实录音上无需精确几何校准即可实现有效音频变焦，并通过实时直播验证了实用性。
针对 1B 和 3.5B 文本转语音扩散 Transformer 的首个 4-bit 权重与激活（W4A4）训练后量化研究显示，量化会同时损伤权重与激活，但只有激活具备可被精度调度利用的时间步结构。TTS-Q 从任务匹配的校准候选中筛选难量化项，并按预算均衡的混合精度调度为后期前馈激活分配更高精度，在两个规模上均最优恢复音色且不影响可懂度。
EarLog 将耳机播放音频本身作为探测信号，通过内容条件化残差感知识别声反射（AR），在嵌入式控制器上实时运行，仅需低成本双麦克风附件。在 81 名参与者、16 款耳机、超 400 小时录音的评估中，该方法在临床参考基准上达到 99.0% 灵敏度和 98.7% 特异度，可在日常聆听中记录个体化 AR 事件，为听力风险的纵向研究提供数据。
Needle 用三个从 Walsh-Hadamard 变换起步学习的 Kronecker 分解混合层替代 transformer 前馈层，d=768 时单层参数从约 4.7M 降至 25.6K，每 token 计算约为原来的五分之一，契合端侧权重读取瓶颈。
推荐理由：量化明确的架构创新，直指端侧推理的内存墙问题。
Needle 3 训练为任意 2-20 层深度都是可部署模型，共享同一残差流，按设备内存预算选择深度而无需为每个尺寸单独训练；文中解释子网络选择、免多轮训练的方法及各深度得分。
推荐理由：一套权重覆盖多种端侧内存预算的工程思路，可跟踪性强。
Cactus 发布 Needle 2，一个 45M 参数的开源模型，用于工具调用、设备操作和结构化抽取，整个模型是单个 14MB 二进制文件，会话内存约 28MB。它在 Raspberry Pi 5 上解码达 500 tokens/sec，在 Meta Quest 3S、Apple Vision Pro 等 VR 设备上为 400–1,500 tokens/sec，并可运行于 ESP32-S3 等较新微控制器。模型采用 CQ2-bit 量化，从预训练到后训练全程针对 Cactus Quants 训练，并支持在 Mac/PC 上微调。
Cactus 开源从 Gemini 蒸馏的 26M 参数函数调用模型 Needle，消费级设备上预填充 6000 tok/s、解码 1200 tok/s；核心观察是工具调用本质是检索与组装而非推理，因此采用纯注意力加门控结构、完全去掉 FFN。
推荐理由：端侧函数调用模型的代表性工作，结构取舍结论对端侧 AI 有普适启发。