跳到正文
10月13日周二
  1. LiveKit Blog30

    LiveKit Egress 故障排查指南:常见错误、状态码与自托管问题

    LiveKit 发布 Egress 故障排查指南,梳理了录制失败的常见错误与对应状态码,包括未收到开始信号(412)、页面加载错误(400)、参与者或轨道未找到(404)、上传失败(400)、流水线冻结(500)和超时(408)等。Egress 以 EGRESS 类型参与者加入房间并只订阅所需轨道,凭证需在录制期间保持有效,S3 的 AssumeRole 仅限特定套餐。

  2. 量子位58

    Anthropic 安全实验:GLM-5.2 在 8 台设备上实现端到端自主复制

    Anthropic 两位研究员 William Zhou 和 Daniel Freeman 的安全实验显示,GLM-5.2 在含 8 个 GCP 节点、运行 Android 15 redroid 模拟器的隔离网络中,5 次测试有 4 次自主攻陷并部署全部 8 台设备,另一次拿下 7 台,全程由 AI 自行扫描 ADB 端口、渗透、传输权重并部署 Llama3.1-8B 推理服务。研究还用 15 台 55 美元、4GB 内存的安卓电视盒子通过去中心化推理跑起 26B 的 Gemma4-26B-A4B,速度 0.39 token/s;并称 Memento 框架让 Qwen3.5-9B 六代繁殖的部署成功率从 45% 升至 61% 至 84%。

  3. IETF MoQ 工作组文档72

    draft-ietf-moq-msf-01:定义运行于 MOQT 之上的流媒体格式 MSF

    IETF MoQ 工作组草案,由 Akamai 的 W. Law 与 Cisco 的 S. Nandakumar 提出,规定在 Media over QUIC Transport(MOQT)上承载媒体的流格式 MSF,2026 年 6 月更新至 01 版,是 MoQ 协议栈的核心规范之一。

    推荐理由:MoQ 核心流格式草案,直接决定新一代低延迟传输的媒体承载方式。

  4. ElevenLabs Blog22

    JavaScript 语音识别教程:用 Web Speech API 构建语音交互

    用浏览器原生 Web Speech API 可在 JavaScript 中实现实时语音转写,无需自建本地识别服务器,音频由浏览器发往后端云服务处理。该 API 通过 SpeechRecognition 接口支持连续识别、临时与最终转写结果,但存在转写不一致、依赖浏览器、无法理解意图等限制,且准确率与延迟因浏览器而异。

  5. arXiv cs.MM20

    ManzaiSet:日本漫才喜剧观众反应的多模态数据集

    日本研究者发布 ManzaiSet 多模态数据集,收录 241 名日语母语者对漫才表演的 2,301 条观看记录,含 191.8 小时面部视频与麦克风音频。观众在家以随机顺序观看最多 10 段专业表演并按 0-100 评分,探索性分析发现观众平均评分及评分波动存在个体差异,观看顺序靠后的表演平均得分更高,幽默类别间未发现显著差异。

  6. W3C Blog22

    W3C 发布 EPUB 3.4 候选规范:新增 roll 布局支持 Webtoon,EPUBCheck 5.4.0 同步更新

    W3C 出版维护工作组公布 EPUB 3.4 候选规范,新增 rendition:layout 的 roll 值,使 Webtoon 式竖向长条漫画可在 EPUB 中渲染,但仅适用于固定版式文档。规范同时加入 AVIF、JPEG XL、OPUS 等内容类型,并将字体混淆等特性标记为过时或弃用。EPUBCheck v5.4.0 已发布以支持 EPUB 3.4 校验,旧文件若通过校验即自动符合新版本。

  7. arXiv cs.MM24

    MotionCoach:为视频专业动作编辑构建多模态引导

    MotionCoach 是一个经过训练的多模态智能体,通过多轮工具调用与自验证生成有依据的提示词和参考片段,为视频编辑模型注入专业动作知识。在 Seedance 2.0 上整体得分从 55.1 提升至 65.6,在 MiniMax-H3 上从 51.2 提升至 64.5,无需重新训练视频编辑模型。团队还构建了包含 314 项专业动作编辑任务的 VPMEBench 评测基准。

10月12日周一
  1. AWS Media Blog38

    Formula 1 如何用 AWS AI 将 12PB 视频档案检索缩短到秒级

    Formula 1 与 AWS 合作在 2026 年 4 月为 12PB 的 F1 Video Archive 上线 Media Archive Discovery 系统,用 Amazon Bedrock 将自然语言请求转成精确检索,用户输入“find celebrations after Leclerc's first Ferrari win”即可直接取到片段。该 AI 层只做查询增强,不替换原有 OpenSearch Service 引擎,日常检索不受影响;任一步骤失败时回退到纯文本搜索,保证始终有结果返回。

  2. MacRumors12

    苹果 HomeView 智能家居中枢、HomePod mini 2 与新 Apple TV 4K 细节泄露

    彭博社 Mark Gurman 在苹果 10 月 13 日纽约发布会前泄露新品细节:带触控屏的智能家居中枢定名 HomeView,搭载 A18 芯片,支持 Siri AI,有桌面版和壁挂版,但无第三方 App Store,预计 11 月中旬上市。新款 HomePod mini 升级为 S10 芯片,新 Apple TV 4K 搭载 A19 芯片并可能内置麦克风,两者 10 月 30 日发售。

  3. Nsane Forums42

    Kodi 22 RC1 加入作弊引擎与深度链接,但 Linux HDR 会让菜单发白

    Kodi 22“Piers”首个候选版本发布,进入功能完备阶段,升级至 FFmpeg 9 和 libass 0.17.5,新增 RetroAchievements 排行榜、作弊引擎支持及 Android 深度链接。已知问题包括:未使用其修补版 TagLib 2.3.1 时 Matroska 标记退回 v21,Linux 上 HDR 播放会使部分 GUI/OSD 元素过透明、发白或模糊。

  4. Splitfeed22

    前 Plaud 高管为后台监听 AI 应用 Ambi 融资 2600 万美元

    前 Plaud 高管创办的 Ambi 于 2026 年 10 月 12 日宣布融资 2600 万美元,并推出 iPhone、Mac 和 Apple Watch 应用,可在后台持续采集环境音频并处理用户全天听到的内容。该应用以常驻监听取代手动录音,改变了录音者及周围人的同意机制;公司尚未详细说明音频存储、访问权限及哪些数据会离开设备。

  5. TechCrunch22

    前Plaud高管创办Ambi,融资2600万美元做常驻后台的AI应用

    前Plaud高管Peter Mo创办的Ambi完成2600万美元多轮融资,由Luminous Ventures和华勤领投,并推出iPhone、Mac和Apple Watch应用。该应用可全天候监听用户,在会议中主动给出建议,并支持跨设备续接任务。环境采集默认关闭、用户可随时关闭,但告知他人的责任仍在用户,公司称不存储录音并加密数据。

  6. Art of Smart60

    Google DeepMind 演示 Gemini 实时语音代理与实时翻译模型

    Google DeepMind 的 Thor Schaeff 介绍 Gemini API 的实时语音代理能力,包括低延迟、带音频标签的 TTS 模型,以及支持约 90 种语言、可自动检测说话语言并翻译成听者偏好语言的实时翻译模型。他还演示了面向实时对话代理的 Gemini 3.1 Flash Live,其底层 Live API 是低延迟 WebSocket 接口,支持流式文本、音频和视频,具备原生音频理解、打断处理、工具调用和音频转写能力,并提到与 LifeKit、PipeKit 的合作。开发者可通过 Google AI Studio 的 ai.studio/live 和 ai.dev/live 体验。

  7. DataNorth AI60

    Cloudflare 发布多模态决策模型 Clef-omni,并下调 Clef-flash 价格

    Cloudflare 于 9 月 9 日发布开源权重决策模型 Clef-omni,可在一次调用中接收文本、图像、音频和视频,按允许答案返回概率,无需先做转写或字幕。它基于阿里 Qwen3-Omni-30B-A3B 去掉语音输出并加训决策层,30B 参数中每 token 仅 3B 参与计算;消息分类表现稳定,但加入音视频后 agent 任务准确率有所下降,且官方未公布音视频基准。Cloudflare 同时把 Clef-flash 输入价格降至每百万 token 0.038 美元,但托管版 Clef-flash 上下文从 64,000 降至 24,000 token。

  8. 腾讯新闻27

    上海大模型公司模思智能完成超10亿元Pre-A轮融资,将推全模态实时交互系统MOSS Live

    上海大模型公司模思智能(MOSI)宣布完成超10亿元Pre-A轮融资,由华控基金领投,资金将用于全模态实时交互智能研发与全球商业化落地。该公司孵化于复旦大学邱锡鹏团队的OpenMOSS团队,今年已发布20多个模型,即将推出采用前后端模型协同架构的MOSS Live系统,面向AI眼镜、智能汽车及机器人等场景。

  9. 东方财富34

    模思智能完成超10亿元Pre-A轮融资,将发布MOSS Live实时交互模型

    模思智能完成超10亿元Pre-A轮融资,由华控基金领投,国开科创、上海科创基金等参投,资金将用于全模态实时交互智能研发与全球商业化落地。该公司由上海创智学院与复旦大学联合孵化,2026年上半年已围绕语音、视觉和实时多模态连续发布20多个模型并持续开源,即将发布的MOSS Live由前端交互模型与后端能动性模型协同工作。

  10. 网易新闻23

    复旦教授邱锡鹏创办的模思智能再融10亿元,将发布MOSS Live系统

    模思智能完成超10亿元Pre-A轮融资,由华控基金领投,资金将用于全模态实时交互智能研发与全球商业化落地。该公司2024年底孵化于邱锡鹏带领的OpenMOSS团队,聚焦语音、视觉及实时多模态交互,即将发布MOSS Live系统,通过前端交互模型与后端能动性模型协同实现实时交流、复杂推理和任务执行。

  11. 网易新闻24

    模思智能完成超10亿元Pre-A轮融资,将推进全模态实时交互智能研发

    模思智能完成超10亿元Pre-A轮融资,由华控基金领投,国开科创、上海科创基金、新微资本等参投,元禾控股等老股东持续投资。资金将用于推进全模态实时交互智能的研发与能力建设,以及全球商业化落地。该公司由复旦大学教授邱锡鹏创立,计划推出实时交互系统MOSS Live。

  12. MarkTechPost42

    TII 发布 Falcon-ASR:1.6B 阿拉伯语语音模型,平均 WER 20.92%

    阿布扎比 TII 发布 1.6B 参数的阿拉伯语语音识别模型 Falcon-ASR,在 6 个阿拉伯语测试集上平均 WER 为 20.92%,比 Audar-ASR-V1-Turbo 的 23.17% 低 2.25 个百分点,在 TII 自建阿联酋方言测试集上比 30B 的 Qwen3-Omni 低 4.07 个百分点。该模型一套权重覆盖阿拉伯语(含阿联酋方言)、英语、法语、西班牙语和葡萄牙语,并输出词级时间戳,但目前仅提供 Hugging Face 演示(限 60 秒、20 MB),未公开权重、许可证和 API,所有成绩均为 TII 自评。

  13. MarkTechPost26

    2026 年 12 款 AI 实时翻译工具盘点:延迟、语言与定价

    MarkTechPost 对照官方产品、定价与文档页面,盘点了 12 款 AI 实时翻译工具,覆盖消费级应用、会议插件、活动平台和开发者 API。Palabra.ai 宣称延迟低于 1 秒,API 语音到语音每分钟 0.04 美元;Google Gemini 3.5 Live Translate 支持 70+ 种语言,Apple Live Translation 完全在设备端运行。各工具语言数量口径不一,需按自身语言对实测。

  14. arXiv eess.AS29

    DEAF:音频语言模型声学忠实度诊断评估基准

    针对 Audio MLLM 是否真正处理声学信号还是依赖文本语义推断的疑问,研究者提出 DEAF 基准,包含 2700 多条冲突刺激,覆盖情感韵律、背景声和说话人身份三个声学维度。配套的多级评估框架逐步增强文本影响,从内容语义冲突到误导性提示及其组合,并引入诊断指标量化模型对文本线索的依赖。对七个 Audio MLLM 的评估显示一致的文本主导模式:模型对声学变化敏感,但预测主要由文本输入驱动。

  15. arXiv eess.AS37

    BELLE:可学习多位教师的贝叶斯语音合成器

    针对 TTS 一对多问题,BELLE 在 MELLE 等连续值自回归 TTS 架构上为每帧 mel 频谱的均值和方差引入贝叶斯先验并由输入预测,同时保持单次采样。由于估计方差需同一文本的多条录音,作者构建了真实录音 ParallelVox 与在 LibriSpeech 上加入六个预训练 TTS 教师语音的 LS+6TTS。相同训练条件下 BELLE 优于 MELLE,并支持流式生成。

  16. arXiv eess.AS31

    多模态同步机制研究:基于解码器的视频-文本到语音合成洞察

    研究以视频-文本到语音(VTTS)合成任务为测试平台,用基于解码器的统一 Transformer 模型 Visatronic 考察序列设计如何影响异构采样率模态间的同步。全局顺序索引与共时有序索引在域内同步表现相当,但域偏移下同步取决于 token 顺序与位置 ID 设计的交互,文本优先的共时索引在评估变体中迁移最稳健。文本支撑可懂度、视频提供时间线索与情感表达,视频优先域内更强而文本优先泛化更好;新提出的音素级指标 TimeSync 可揭示帧级指标遗漏的时间错位。

  17. arXiv eess.AS22

    跨儿童指向与成人指向语音数据集的成人受话人分类基准测试

    研究基于自然实验室与真实场景的儿童指向语音(CDS)和成人指向语音(ADS)语料,建立了区分二者的分类基准。自监督学习(SSL)表示表现最佳,而引入高维嵌入跨通道协方差的时间池化方法提供了互补优势。线性探针分析显示不同池化方法对韵律信息的捕捉方式各异。

  18. arXiv eess.AS31

    SENSE:通过空间图编码从脑电动力学实现语义神经语音合成

    研究者提出 SENSE(Semantic-EEG Neural Speech SynthEsis),用基于电极几何的图编码器结合 EEG 语义条件(ESC),将 EEG 对齐到预训练语义空间,从非侵入式脑信号合成语音。在 N400 数据集上,SENSE 在声学与语义指标上均优于此前方法;仅用两名受试者训练,其词错误率已超过用全部十八名受试者训练的最强基线。

  19. arXiv eess.AS35

    通过 Adapter 唤醒编码器:Speech-LLM 的领域自适应微调方法 EAVA

    针对 Speech-LLM 在儿童或方言等域偏移语音上适应不足的问题,研究者提出领域自适应微调方法 EAVA:先在各编码器层插入轻量 Adapter 单独训练,再结合 LLM 上的 LoRA 联合微调全模型。在三个域偏移 ASR 数据集上,EAVA 持续优于常规微调及其他基线,取得新的最优性能。

  20. arXiv eess.AS42

    重新思考 LLM-based ASR 中的熵分配:理解语音编码器与 LLM 之间的动态关系

    研究从熵分配视角重新审视 LLM-based ASR,提出三项指标刻画训练范式如何在语音编码器与 LLM 之间分配熵减,并据此设计基于能力边界感知的多阶段训练策略。该方法重新设计预训练以缓解语音-文本模态差距,并在对齐与联合 SFT 之间引入迭代异步 SFT 阶段以保持功能解耦、抑制编码器表征漂移。在普通话和英语基准上,仅用 2.3B 参数即达到与 SOTA 模型相当的性能,并有效缓解幻觉。

  21. arXiv eess.AS31

    利用 TTS 与语音转换增强语音识别:呼叫中心银行领域 ASR 合成数据评测

    针对呼叫中心银行领域 ASR 训练数据不足的问题,研究对比了 TTS 与 KNNVC、Seed-VC、Vec2Wav2 等语音转换方法,以 WER 和 CER 为指标评估合成数据对识别性能的影响。结果显示语音质量和 ASR 准确率均有显著提升,其中 Seed-VC 表现尤为突出,表明语音转换技术可有效增强 ASR 系统。

  22. arXiv eess.AS40

    AudioTETRIS:利用过渡重要性信号消除 Token,实现高效音频 LLM

    AudioTETRIS 是一个免训练的两阶段框架,利用音频编码器的表示几何作为声学先验,在 LLM 解码器中计算逐 Token 融合分数并逐层进行 top-k 选择,无需额外训练或辅助模型。在 Qwen2-Audio-7B、Phi-4-Multimodal 和 Audio Flamingo 3 上,仅用 25% 音频 Token 即可在多项语音任务上保持接近未压缩的性能,中等压缩率下可持平或超过全 Token 准确率,并持续优于现有免训练基线。