跳到正文
10月12日周一
  1. MarkTechPost40

    Cloudflare 发布 Clef-omni:面向音频、视频、图像与文本的 30B-A3B 多模态决策模型

    Cloudflare 发布开源权重决策模型 Clef-omni,基于 Qwen3-Omni-30B-A3B-Instruct 后训练,30B 总参数、3B 激活(MoE),可在一次调用中对文本、图像、音频和视频打分,Apache-2.0 许可,输入价格 $0.15/百万 tokens。它在意图分类任务领先,CLINC150+OOS 达 97.7 macro-F1,但在推理与工作流评测中落后于 Clef,GPQA Diamond 仅 47.4。同批更新将 Clef-flash 价格降至 $0.038,托管 Clef 迁至 SGLang 后中位延迟提升 1.7 至 2.0 倍。

10月9日周五
  1. WebKit Blog22

    Safari Technology Preview 254 发布说明

    Safari Technology Preview 254 面向 macOS Golden Gate 和 macOS Tahoe 发布,包含 WebKit 321068@main 至 322634@main 之间的改动。CSS 新增 size、min-size、max-size 简写属性及 interpolate-size、calc-size() 等支持,并修复 CSS Grid 重排开销随 order 值不同的网格项数量呈二次增长等问题。

10月2日周五
  1. Cactus Engineering Blog65

    Cactus 开源 Whistle:16.9 MB 端侧语音识别模型,7 种语言、首 token 11 毫秒

    Cactus 发布开源语音识别模型 Whistle,单文件 16.9 MB、纯 CPU 运行无依赖,面向手机、可穿戴、机器人、智能家居、汽车与微控制器;支持英德法西意荷波 7 种语言(可自动检测),单次转写最长 30 秒 16 kHz 单声道音频,首 token 延迟 11 ms,输出词级时间戳,并与 Needle 共享同一 C++ 引擎与量化方案,可在浏览器端离线运行。

    推荐理由:把 STT 压到 16.9 MB 且保留词级时间戳与 11 ms 首响,是端侧语音这一细分方向上规格突出的开源发布。

10月1日周四
  1. Jitsi Blog62

    Jitsi Meet 推出多屏支持,单次会话可渲染到多个显示器

    Jitsi Meet 新增多屏支持,一次会话可把演讲者画面、屏幕共享、白板等分别渲染到多个显示器,无需重复入会。第二屏通过 React portal 复用同一 redux store 和组件,视频轨道用 track.clone() 克隆且不增加解码;由 iframe External API 的 setSecondScreen 命令和三个事件控制,也可在参会者右键菜单等处触发。该功能默认关闭,需配置 secondScreen.enabled=true 开启,目前仅支持 Chromium 系浏览器,且需要弹窗和窗口管理两项权限。

    推荐理由:Jitsi Meet 新增多屏渲染能力,读者可了解其与开两个标签页在参会者身份和媒体订阅上的差别。

9月28日周一
  1. ElevenLabs Blog67

    ElevenLabs 发布 Eleven v4 与低延迟版 Eleven v4 Turbo 语音模型

    ElevenLabs 发布文本转语音模型 Eleven v4 及其低延迟版本 Eleven v4 Turbo,称 Eleven v4 在 Artificial Analysis 排名第一,并在与 Cartesia Sonic 3.6、Inworld TTS-2、Google Gemini 3.8 Flash-Lite TTS 和 Gemini 3.8 Flash TTS 的盲测对比中被约 75% 听众偏好。Eleven v4 Turbo 面向语音代理等低延迟场景,中位推理延迟约 100ms,中位首次发声时间约 150ms,与 ElevenAgents 平台协同优化。两款模型支持 90 多种语言,Instant Voice Clones 用 10 秒音频即可克隆,并新增 Professional Voice Clones 支持,现已上线 ElevenAgents、ElevenCreative 和 ElevenAPI。

    推荐理由:官方给出两款新模型的延迟、盲测偏好与克隆门槛,可据此判断语音代理和配音场景是否值得迁移。

9月26日周六
  1. Pipecat Releases62

    Pipecat v1.12.0 发布:新增分类器与 MOQ 客户端重连,TTS 支持 IPA 发音映射

    Pipecat 发布 v1.12.0,新增 Pipecat Classifiers,可通过 JevClassifier 或 LLMClassifier 对状态提出是/否、选择与评分问题,并新增 TTSService.pronunciation_transform_ipa() 用词到 IPA 的映射控制专有名词发音。MOQTransport 增加客户端模式重连,断线后按退避重拨,MOQParams.connection_timeout 默认由 30 s 改为 60 s;同时弃用 UninterruptibleFrame、BaseUIWorker 等接口,将在 2.0.0 移除。

    推荐理由:版本说明覆盖分类器、MOQ 重连与语音合成发音等多项能力变化,并列出弃用与移除项,便于评估升级影响。

9月25日周五
  1. Boson AI Blog58

    Boson AI 发布 Higgs VoiceOver:在 DaVinci Resolve 和 Premiere Pro 内生成 AI 配音

    Boson AI 发布 Higgs VoiceOver 插件,把 AI 配音放进视频剪辑器,由 Higgs TTS 3 驱动,每句旁白生成独立片段并自动排到时间线的配音轨上。它支持用标签控制情绪、语速和音效,自动生成词级时间轴字幕,用约十秒音频克隆自定义声音,覆盖 100 多种语言且同一句内可切换语言。该插件已在 macOS 上的 DaVinci Resolve Studio 和 Adobe Premiere Pro 上线,Final Cut Pro 与 Windows 版本在开发中,使用自带 Boson API key 按量计费,价格为每千字符 0.015 美元。

    推荐理由:面向剪辑工作流的 AI 配音插件,说明它如何把配音、字幕和声音克隆放进时间线,以及按量计费的成本口径。

9月18日周五
  1. FunASR Releases38

    FunASR 1.4.16 发布:修复混合设备推理配置漂移,新增原生 Transformers 指南

    FunASR 1.4.16 发布,修复混合设备推理中 vad_kwargs、punc_kwargs、spk_kwargs 的设备放置问题:重复推理调用不再改变已加载模型的设备配置,说话人推理改用说话人模型自身配置。该版本同时说明 SenseVoiceSmall 或 Paraformer 何时需要 CT-Transformer 标点后处理,并新增经测试的中英文原生 Transformers 使用指南。混合设备回归测试使用 CPU 占位权重与模拟加速器,不构成 CUDA、MPS 或 NPU 性能认证。

9月10日周四
  1. FunASR Releases28

    FunASR 1.4.15 发布:兼容 NumPy 2,修复流式与训练可靠性

    FunASR 1.4.15 发布,移除 NumPy 版本上限并兼容 NumPy 2,同时修复 KWS 跨包/EOS 边界丢帧、动态 VAD 静音调度计入空闲时间及检查点排序纳入无效验证指标等问题。该版本还新增 MOSS 的 Gradio 配置与离线 vLLM 整段转写示例,支持时间戳和匿名说话人标签。NumPy 兼容性仅在 Linux/Python 3.12、NumPy 1.26.4 与 2.4.0 环境下验证,不保证覆盖所有历史依赖与 GPU 组合。

9月9日周三
  1. 声网博客22

    声网智能门锁方案:电池供电设备如何做到秒开秒看与远程开门

    声网发布智能门锁/门铃场景方案,针对电池供电门锁给出量产指标:出图速度小于1秒、全球通话延迟小于400毫秒,SDK增量体积控制在400KB以内、运行时内存占用仅1.2MB。远程开锁走独立实时信令通道,全球端到端延迟低于100毫秒(99分位值),70%丢包下仍保证送达。

9月8日周二
9月2日周三
  1. Zoom Developer Blog28

    Zoom 推出基于 Video SDK 的 Web 远程医疗入门套件

    Zoom 发布开源 Web 远程医疗入门套件,基于 Zoom Video SDK 构建,覆盖医生与患者注册、预约、设备预览、视频问诊、聊天、屏幕共享、云录制、实时转写和 PDF 文件共享等核心流程。套件采用 Next.js 16、React 19 和 TypeScript,代码托管于 GitHub。官方声明该示例尚未按 HIPAA 合规设计或验证,未经独立安全与合规审查不得用于受保护健康信息。

9月1日周二
  1. LiveKit Blog71

    LiveKit 发布 Connectors,将 Twilio 和 WhatsApp 通话接入 LiveKit 房间

    LiveKit 发布 Connectors,把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间,无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC(ICE、DTLS-SRTP、Opus),Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布,仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用,计费与 SIP 相同,每分钟 0.004 美元(Ship)和 0.003 美元(Scale)。

    推荐理由:LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间,读者可据此判断现有 SIP 方案是否要改。

8月18日周二
  1. LiveKit Blog34

    超越 1:1:用 LiveKit 构建多参与者机器人系统

    LiveKit 的 SFU 架构让机器人系统从点对点连接扩展为多参与者 Room,摄像头、模型、操作员和下游服务各作为一个参与者加入,无需重新设计传输架构。在跨网络的人机协同录制场景中,机器人观测可同时分发给策略、操作员和录制端,策略动作与人工干预各自独立回传,避免额外网络跳数。VLM 可作为任务级编排者,各技能策略以独立参与者订阅所需观测,奖励模型则按控制频率评估执行状态并驱动策略升级。

7月21日周二
  1. LiveKit Blog62

    LiveKit Unity SDK 2.0.0 正式发布,结束开发者预览

    LiveKit 正式发布 Unity SDK v2.0.0,将其从开发者预览转为正式版本,并称该 SDK 已与现有 LiveKit SDK 达到功能对齐。开发者可在 Unity 游戏中接入实时语音、视频和 AI,用于语音聊天、音视频直播、VR 远程操控机器人以及语音 AI 驱动的 NPC。2.0.0 带来移动端和桌面端的原生平台音频、基于 DataTracks 的高频数据消息和可配置 token 源的简化鉴权;官方支持 Unity 2022.3 及以上版本,覆盖 macOS、Windows、Linux、iOS 和 Android。

    推荐理由:LiveKit Unity SDK 结束开发者预览并达到与其他 SDK 的功能对齐,可据此判断现有 Unity 项目是否迁移。

7月9日周四
  1. Cartesia Blog62

    Cartesia 发布面向实时语音代理的语音识别模型 Ink-2

    Cartesia 发布语音转文本模型 Ink-2,面向实时语音代理,称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一,并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s,在 14 种英语口音的 AppTek 基准上 WER 为 8%,内部生产环境基准 WER 为 6.5%,轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线,可通过 API 使用,并接入 LiveKit、Vapi 和 Pipecat,多语言支持尚在开发中。

    推荐理由:官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据,可据此判断语音代理的选型取舍。

4月8日周三
  1. 声网博客66

    声网泛 IPC 弱网方案:80% 丢包下保画面与 5 秒连通率 99.5%

    针对家庭摄像头、割草机等天然弱网部署场景,声网以 SD-RTN 为骨架做四层对抗:秒级网络感知与动态路由、秒级降码率加渐进恢复、FEC+NACK 双保险(称音频可抗 80% 丢包、视频 40%)、以及首帧关键帧优化;对外指标包括 80% 丢包下音视频流畅、设备 5 秒连通率 99.5%、出海首次激活成功率 >99.9%,SD-RTN 全球延时中位数 <76ms。

    推荐理由:厂商披露的极端弱网量化指标与全链路对抗逻辑,对 IPC/IoT 类产品选型有直接参考。

3月30日周一
  1. 声网博客64

    声网 IPC 秒开实践:Chrome 端首帧压到 300ms 以内

    声网把首帧定义为“视频第一帧在本地渲染显示”的结果指标,从关键帧触发、建链协商、路径选择、终端渲染四处下手:建议引擎提前创建初始化、enableVideo 前设好编码配置,参考最佳实践后 Windows/macOS Chrome 首帧最低可降到 300ms 以内;方案整体给出 99.9% 连通成功率、SD-RTN 覆盖 200+ 国家、全球延时中位数 <76ms、80% 丢包下仍流畅。

    推荐理由:有明确数字的首帧优化案例,且强调弱网与跨国条件下的首帧成立概率。

6月10日周二
  1. Cartesia Blog71

    Cartesia 发布流式语音转文字模型 Ink-Whisper

    Cartesia 推出流式语音转文字(STT)模型系列 Ink,首发模型 Ink-Whisper 基于 OpenAI 的 Whisper 改造,面向实时语音应用。官方称其采用动态分块处理变长音频片段,在电话音质、专有名词、背景噪声、口语停顿和口音等数据集上,词错误率优于 whisper-large-v3-turbo 基线;在停止说话后完成转写的时间(TTCT)中位数为 66ms、P90 为 98ms,并称其为所测试流式 STT 模型中最快。定价为每秒 1 credit,Scale 套餐下约 $0.13/hr,可集成 Vapi、Pipecat 和 LiveKit。

    推荐理由:Cartesia 发布流式语音转文字模型 Ink-Whisper,给出与 Whisper 基线和多家流式模型的 WER、TTCT 对比数据,可据此判断实时语音场景的选型。

8月28日周三
  1. Cartesia Blog60

    Cartesia 发布端侧智能更新:开源 SSM 库 Edge、1.3B 模型 Rene 与 Sonic On-Device 内测

    Cartesia 发布端侧智能更新,推出开源(Apache 2.0)SSM 库 Edge、1.3B 参数开源语言模型 Rene,以及进入内测的 Sonic On-Device。Edge 面向 Apple M 系列芯片提供 Mamba-2 的 Metal 内核,并配套 Python 包 cartesia-mlx;Rene 采用 Mamba-2 与 MLP 交替、穿插滑动窗口注意力的混合结构,在 1.5T tokens 的 Dolma-1.7 上训练,推理时内存占用固定,支持 8-bit 和 4-bit 量化。Sonic On-Device 支持端侧低延迟实时流式生成语音,具备即时克隆与可控发音、语速和情感。

    推荐理由:Cartesia 把 SSM 架构落到端侧,同时开源模型与推理库,可据此判断端侧语音与语言模型的可行路径。