跳到正文
  1. 中文技术动态60

    北京新版超高清视听产业支持措施印发:4K/8K 单项目最高支持 500 万元,有效期至 2027 年 8 月

    北京市广电局 9 月 20 日印发、10 月 8 日公开的新修订措施(京广发〔2026〕73 号)显示:设立超高清视听产业发展支持资金,4K/8K 拍摄项目按制作能力与质量最高支持 500 万元,超高清数字资产共享平台、入户行动(含电视"套娃"收费治理)与 VR/数字人/裸眼 3D 融合创新项目最高支持 300 万元,并配套上市培育与产业基金机制;2024 年版措施同时废止。

    推荐理由:超高清是我国音视频产业政策主线,地方配套资金细则直接影响制作与终端企业的立项方向。

  1. webrtcHacks80

    Chrome 静默上线神经回声消除器,实测回声抑制提升 5.4 dB

    Google Chrome 桌面版在用户不知情的情况下下载了一个 425 KB 的 TFLite 模型,接管 AEC3 中残差回声估计部分,默认开启且无开关,仅 Chrome 可用,Edge、Electron、Firefox 和 Safari 都拿不到。作者用 Microsoft AEC Challenge 合成语料的约 500 个文件跑 audioproc_f 对比,远端单讲帧的中位回声抑制从 19.8 dB 升到 27.0 dB,每文件中位提升 5.4 dB,80% 文件更好,双讲时近端电平基本不变(中位 +0.04 dB)。在 125 个文件上用 Whisper small.en 测试语音代理场景,中位词错率从 0.500 降到 0.235。

    推荐理由:作者用 AEC Challenge 语料实测 Chrome 神经回声消除器,给出回声抑制与语音识别词错率的对照结果。

  1. Cactus Engineering Blog65

    Cactus 开源 Whistle:16.9 MB 端侧语音识别模型,7 种语言、首 token 11 毫秒

    Cactus 发布开源语音识别模型 Whistle,单文件 16.9 MB、纯 CPU 运行无依赖,面向手机、可穿戴、机器人、智能家居、汽车与微控制器;支持英德法西意荷波 7 种语言(可自动检测),单次转写最长 30 秒 16 kHz 单声道音频,首 token 延迟 11 ms,输出词级时间戳,并与 Needle 共享同一 C++ 引擎与量化方案,可在浏览器端离线运行。

    推荐理由:把 STT 压到 16.9 MB 且保留词级时间戳与 11 ms 首响,是端侧语音这一细分方向上规格突出的开源发布。

  1. Jitsi Blog62

    Jitsi Meet 推出多屏支持,单次会话可渲染到多个显示器

    Jitsi Meet 新增多屏支持,一次会话可把演讲者画面、屏幕共享、白板等分别渲染到多个显示器,无需重复入会。第二屏通过 React portal 复用同一 redux store 和组件,视频轨道用 track.clone() 克隆且不增加解码;由 iframe External API 的 setSecondScreen 命令和三个事件控制,也可在参会者右键菜单等处触发。该功能默认关闭,需配置 secondScreen.enabled=true 开启,目前仅支持 Chromium 系浏览器,且需要弹窗和窗口管理两项权限。

    推荐理由:Jitsi Meet 新增多屏渲染能力,读者可了解其与开两个标签页在参会者身份和媒体订阅上的差别。

  1. ElevenLabs Blog67

    ElevenLabs 发布 Eleven v4 与低延迟版 Eleven v4 Turbo 语音模型

    ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo,称 Eleven v4 在 Artificial Analysis 排名第一,并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景,中位推理延迟约 100ms,中位首次发声时间约 150ms,与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言,Instant Voice Clones 用 10 秒音频即可克隆,并新增 Professional Voice Clones 支持,现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。

    推荐理由:官方给出两款新模型的延迟、盲测偏好与克隆门槛,可据此判断语音代理和配音场景是否值得迁移。

  1. Pipecat Releases62

    Pipecat v1.12.0 发布:新增分类器与 MOQ 客户端重连,TTS 支持 IPA 发音映射

    Pipecat 发布 v1.12.0,新增 Pipecat Classifiers,可通过 JevClassifier 或 LLMClassifier 对状态提出是/否、选择与评分问题,并新增 TTSService.pronunciation_transform_ipa() 用词到 IPA 的映射控制专有名词发音。MOQTransport 增加客户端模式重连,断线后按退避重拨,MOQParams.connection_timeout 默认由 30 s 改为 60 s;同时弃用 UninterruptibleFrame、BaseUIWorker 等接口,将在 2.0.0 移除。

    推荐理由:版本说明覆盖分类器、MOQ 重连与语音合成发音等多项能力变化,并列出弃用与移除项,便于评估升级影响。

  1. Boson AI Blog58

    Boson AI 发布 Higgs VoiceOver:在 DaVinci Resolve 和 Premiere Pro 内生成 AI 配音

    Boson AI 发布 Higgs VoiceOver 插件,把 AI 配音放进视频剪辑器,由 Higgs TTS 3 驱动,每句旁白生成独立片段并自动排到时间线的配音轨上。它支持用标签控制情绪、语速和音效,自动生成词级时间轴字幕,用约十秒音频克隆自定义声音,覆盖 100 多种语言且同一句内可切换语言。该插件已在 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro 上线,Final Cut Pro 与 Windows 版本在开发中,使用自带 Boson API key 按量计费,价格为每千字符 0.015 美元。

    推荐理由:面向剪辑工作流的 AI 配音插件,说明它如何把配音、字幕和声音克隆放进时间线,以及按量计费的成本口径。

  1. Cactus Engineering Blog50

    Cactus 详解 Needle 的 .cact 单文件格式与 2.125 比特量化

    Cactus 介绍其端侧模型 Needle 使用的 .cact 单文件格式:196 字节头部携带全部架构几何信息,无名张量目录按前向顺序排列,权重以 128 个一组做 Hadamard 旋转后按 Lloyd-Max 码本量化,CQ2 下每权重 2.125 比特。内核直接读取打包索引做查表与 sdot 累加,不展开权重,20 层 needle3.cact 为 29 MB、581 个张量。文中还给出用 struct 解析头部与目录的二十行 Python 代码,并说明同一容器可承载语音模型 Whistle。

    推荐理由:原文拆解了 .cact 单文件格式的头部、目录与分组量化设计,并给出二十行解析代码,可迁移到自研端侧模型加载器。

  1. Cactus Engineering Blog60

    Hadamard MLP 替代 FFN:单层参数 4.7M 降到 25.6K,算力五分之一

    Needle 用三个从 Walsh-Hadamard 变换起步学习的 Kronecker 分解混合层替代 transformer 前馈层,d=768 时单层参数从约 4.7M 降至 25.6K,每 token 计算约为原来的五分之一,契合端侧权重读取瓶颈。

    推荐理由:量化明确的架构创新,直指端侧推理的内存墙问题。

  2. Cactus Engineering Blog58

    Needle 3 智能阶梯:一套权重从 2 到 20 层任意深度皆可部署

    Needle 3 训练为任意 2-20 层深度都是可部署模型,共享同一残差流,按设备内存预算选择深度而无需为每个尺寸单独训练;文中解释子网络选择、免多轮训练的方法及各深度得分。

    推荐理由:一套权重覆盖多种端侧内存预算的工程思路,可跟踪性强。

  1. Google AI Blog66

    Chrome 153 新增摄像头/麦克风专用 HTML 元素并支持 IAMF 沉浸式音频解码

    Chrome 153 加入摄像头与麦克风专用 HTML 元素(浏览器托管 UI,需显式点击授权),并通过 MSE 在 HTML 媒体元素中支持开放免版税空间音频格式 IAMF 的解码播放。

    推荐理由:浏览器媒体采集与沉浸式音频格式的双重进展,直接影响 Web 音视频应用形态。

  1. LiveKit Blog71

    LiveKit 发布 Connectors,将 Twilio 和 WhatsApp 通话接入 LiveKit 房间

    LiveKit 发布 Connectors,把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间,无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC(ICE、DTLS-SRTP、Opus),Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布,仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用,计费与 SIP 相同,每分钟 0.004 美元(Ship)和 0.003 美元(Scale)。

    推荐理由:LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间,读者可据此判断现有 SIP 方案是否要改。

  1. LiveKit Blog62

    LiveKit Unity SDK 2.0.0 正式发布,结束开发者预览

    LiveKit 正式发布 Unity SDK v2.0.0,将其从开发者预览转为正式版本,并称该 SDK 已与现有 LiveKit SDK 达到功能对齐。开发者可在 Unity 游戏中接入实时语音、视频和 AI,用于语音聊天、音视频直播、VR 远程操控机器人以及语音 AI 驱动的 NPC。2.0.0 带来移动端和桌面端的原生平台音频、基于 DataTracks 的高频数据消息和可配置 token 源的简化鉴权;官方支持 Unity 2022.3 及以上版本,覆盖 macOS、Windows、Linux、iOS 和 Android。

    推荐理由:LiveKit Unity SDK 结束开发者预览并达到与其他 SDK 的功能对齐,可据此判断现有 Unity 项目是否迁移。

  1. Cartesia Blog62

    Cartesia 发布面向实时语音代理的语音识别模型 Ink-2

    Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。

    推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。

  1. 声网博客60

    声网拆解出海语聊房 AI 降噪配置:中东噪音环境与东南亚弱网下的 AINS 档位选择

    声网针对出海语聊房给出 AI 降噪配置策略:中东中央空调等稳态噪声用传统降噪(WebRTC NS)已够用,市集、水烟咖啡馆的非平稳人声背景才是 AI 降噪优势区。东南亚弱网下,丢包率超过 5% 时部分 AI 降噪模型会因帧缺失产生噪声伪影;骁龙 400 系列等入门芯片叠加混音与编解码后 CPU 占用可能超过 70% 并触发热节流,通话 10–15 分钟后音频不连贯。声网建议按设备档位与丢包情况动态选择 AINS 强度,低端设备任意网络下用传统 NS。

    推荐理由:声网按中东与东南亚两类噪音环境给出 AINS 档位与降级配置,并说明低端设备弱网下传统降噪更稳的边界。

  1. Cactus Engineering Blog62

    Cactus 开源 26M 参数函数调用模型 Needle:端侧预填充 6000 tok/s

    Cactus 开源从 Gemini 蒸馏的 26M 参数函数调用模型 Needle,消费级设备上预填充 6000 tok/s、解码 1200 tok/s;核心观察是工具调用本质是检索与组装而非推理,因此采用纯注意力加门控结构、完全去掉 FFN。

    推荐理由:端侧函数调用模型的代表性工作,结构取舍结论对端侧 AI 有普适启发。

  1. 声网博客66

    声网泛 IPC 弱网方案:80% 丢包下保画面与 5 秒连通率 99.5%

    针对家庭摄像头、割草机等天然弱网部署场景,声网以 SD-RTN 为骨架做四层对抗:秒级网络感知与动态路由、秒级降码率加渐进恢复、FEC+NACK 双保险(称音频可抗 80% 丢包、视频 40%)、以及首帧关键帧优化;对外指标包括 80% 丢包下音视频流畅、设备 5 秒连通率 99.5%、出海首次激活成功率 >99.9%,SD-RTN 全球延时中位数 <76ms。

    推荐理由:厂商披露的极端弱网量化指标与全链路对抗逻辑,对 IPC/IoT 类产品选型有直接参考。

  1. 声网博客64

    声网 IPC 秒开实践:Chrome 端首帧压到 300ms 以内

    声网把首帧定义为“视频第一帧在本地渲染显示”的结果指标,从关键帧触发、建链协商、路径选择、终端渲染四处下手:建议引擎提前创建初始化、enableVideo 前设好编码配置,参考最佳实践后 Windows/macOS Chrome 首帧最低可降到 300ms 以内;方案整体给出 99.9% 连通成功率、SD-RTN 覆盖 200+ 国家、全球延时中位数 <76ms、80% 丢包下仍流畅。

    推荐理由:有明确数字的首帧优化案例,且强调弱网与跨国条件下的首帧成立概率。

  1. 海外技术动态60

    Apple M5 Pro/M5 Max 媒体引擎确认支持 AV1 硬件解码与 ProRes 编解码

    Apple 发布 M5 Pro 与 M5 Max 芯片(新 MacBook Pro 3 月 4 日预订),媒体处理引擎支持 H.264/HEVC 硬件加速、AV1 硬件解码以及 ProRes 编解码引擎,并首次在所有 M5 系列产品线铺开;配合新一代 GPU(每核内置神经网络加速器)与更高统一内存带宽(M5 Max 达 614GB/s),面向 8K 视频剪辑与 AI 工作流。

    推荐理由:苹果芯片全面铺开 AV1 硬件解码,是端侧编解码硬件格局的实质性变化,影响流媒体平台编码策略。

  1. Cartesia Blog71

    Cartesia 发布流式语音转文字模型 Ink-Whisper

    Cartesia 推出流式语音转文字(STT)模型系列 Ink,首发模型 Ink-Whisper 基于 OpenAI 的 Whisper 改造,面向实时语音应用。官方称其采用动态分块处理变长音频片段,在电话音质、专有名词、背景噪声、口语停顿和口音等数据集上,词错误率优于 whisper-large-v3-turbo 基线;在停止说话后完成转写的时间(TTCT)中位数为 66ms、P90 为 98ms,并称其为所测试流式 STT 模型中最快。定价为每秒 1 credit,Scale 套餐下约 $0.13/hr,可集成 Vapi、Pipecat 和 LiveKit。

    推荐理由:Cartesia 发布流式语音转文字模型 Ink-Whisper,给出与 Whisper 基线和多家流式模型的 WER、TTCT 对比数据,可据此判断实时语音场景的选型。