声网智能门锁方案：电池供电设备如何做到秒开秒看与远程开门
声网发布智能门锁/门铃场景方案，针对电池供电门锁给出量产指标：出图速度小于1秒、全球通话延迟小于400毫秒，SDK增量体积控制在400KB以内、运行时内存占用仅1.2MB。远程开锁走独立实时信令通道，全球端到端延迟低于100毫秒（99分位值），70%丢包下仍保证送达。
#端侧
声网博客评分2222
Google AI Blog精选评分6666 Chrome 153 新增摄像头/麦克风专用 HTML 元素并支持 IAMF 沉浸式音频解码
Chrome 153 加入摄像头与麦克风专用 HTML 元素（浏览器托管 UI，需显式点击授权），并通过 MSE 在 HTML 媒体元素中支持开放免版税空间音频格式 IAMF 的解码播放。
推荐理由：浏览器媒体采集与沉浸式音频格式的双重进展，直接影响 Web 音视频应用形态。
Zoom Developer Blog评分2828 Zoom 推出基于 Video SDK 的 Web 远程医疗入门套件
Zoom 发布开源 Web 远程医疗入门套件，基于 Zoom Video SDK 构建，覆盖医生与患者注册、预约、设备预览、视频问诊、聊天、屏幕共享、云录制、实时转写和 PDF 文件共享等核心流程。套件采用 Next.js 16、React 19 和 TypeScript，代码托管于 GitHub。官方声明该示例尚未按 HIPAA 合规设计或验证，未经独立安全与合规审查不得用于受保护健康信息。
LiveKit Blog精选评分7171 LiveKit 发布 Connectors，将 Twilio 和 WhatsApp 通话接入 LiveKit 房间
LiveKit 发布 Connectors，把 Twilio Programmable Voice 和 WhatsApp Business Calling 的通话作为普通参会者接入 LiveKit 房间，无需配置 SIP 中继或网关。WhatsApp 通话端到端走 WebRTC（ICE、DTLS-SRTP、Opus），Twilio 通话经 Media Streams WebSocket 以 G.711 原始形式发布，仅为需要的订阅者转成 Opus。Connectors 已在 LiveKit Cloud 正式可用，计费与 SIP 相同，每分钟 0.004 美元（Ship）和 0.003 美元（Scale）。
推荐理由：LiveKit 把 Twilio 与 WhatsApp 通话直接接入房间，读者可据此判断现有 SIP 方案是否要改。
LiveKit Blog评分3434 超越 1:1：用 LiveKit 构建多参与者机器人系统
LiveKit 的 SFU 架构让机器人系统从点对点连接扩展为多参与者 Room，摄像头、模型、操作员和下游服务各作为一个参与者加入，无需重新设计传输架构。在跨网络的人机协同录制场景中，机器人观测可同时分发给策略、操作员和录制端，策略动作与人工干预各自独立回传，避免额外网络跳数。VLM 可作为任务级编排者，各技能策略以独立参与者订阅所需观测，奖励模型则按控制频率评估执行状态并驱动策略升级。
声网博客评分3636 ESP32 低资源设备如何做语音通话：内存、采样率与网络参数优化
针对 ESP32、ESP32-S3 等低资源设备做语音通话，建议从 16 kHz、16 bit、单声道、20 ms 帧长起步，优先保证接通率与稳定性，再评估提升音质。声网 RTSA SDK 仅支持单声道、20 ms 发送间隔，包体积增量小于 400 KB，收发 320×240 H.264 时内存占用小于 2 MB，采集与编解码需设备端自行实现。
Cactus Engineering Blog评分5252 Needle 2 工具环境设计实践：6120 次运行总结函数调用可靠性规则
Cactus 在智能家居、客服、外勤、邮件、会议、费用审批六类环境共跑 6120 次测试，验证工具命名、描述、枚举、约束与重叠度对小模型函数调用的影响，形成一套环境设计规则。
Cactus Engineering Blog评分3636 Needle 2：面向微型设备的 14 MB 智能体 LLM
Cactus 发布 Needle 2，一个 45M 参数的开源模型，用于工具调用、设备操作和结构化抽取，整个模型是单个 14MB 二进制文件，会话内存约 28MB。它在 Raspberry Pi 5 上解码达 500 tokens/sec，在 Meta Quest 3S、Apple Vision Pro 等 VR 设备上为 400–1,500 tokens/sec，并可运行于 ESP32-S3 等较新微控制器。模型采用 CQ2-bit 量化，从预训练到后训练全程针对 Cactus Quants 训练，并支持在 Mac/PC 上微调。
声网博客评分2222 智能硬件语音交互架构解析：麦克风、RTC、ASR、LLM、TTS 全链路
智能硬件语音交互的体验瓶颈往往不在 LLM，而在麦克风采集、回声消除、RTC 实时传输、流式 ASR、TTS 播放与打断控制等基础环节。文章拆解了从采集、前处理、实时传输到 ASR、LLM、TTS、播放与打断的完整链路，指出 RTC 是弱网下保持语音连续的关键通道，并建议量产前按真实场景验证麦克风、弱网重连、儿童语音与云端成本。
Netflix Technology Blog评分2222 Netflix 如何为分析建模设备能力
Netflix 构建了设备能力数据模型并接入内部系统的功能开关，用于在全球设备生态中做更细粒度的功能管理。其累积表记录每台设备的最新能力状态（如屏幕分辨率、支持的视频 Profile、环绕声、RAM 大小），直方图表则统计过去 28 天内按设备型号和软件版本划分的活跃设备数及能力支持情况。示例数据显示，某类流媒体棒设备全部支持 HD profile（playready），仅 20% 支持 UHD profile（hevc）。
LiveKit Blog精选评分6262 LiveKit Unity SDK 2.0.0 正式发布，结束开发者预览
LiveKit 正式发布 Unity SDK v2.0.0，将其从开发者预览转为正式版本，并称该 SDK 已与现有 LiveKit SDK 达到功能对齐。开发者可在 Unity 游戏中接入实时语音、视频和 AI，用于语音聊天、音视频直播、VR 远程操控机器人以及语音 AI 驱动的 NPC。2.0.0 带来移动端和桌面端的原生平台音频、基于 DataTracks 的高频数据消息和可配置 token 源的简化鉴权；官方支持 Unity 2022.3 及以上版本，覆盖 macOS、Windows、Linux、iOS 和 Android。
推荐理由：LiveKit Unity SDK 结束开发者预览并达到与其他 SDK 的功能对齐，可据此判断现有 Unity 项目是否迁移。
Cartesia Blog精选评分6262 Cartesia 发布面向实时语音代理的语音识别模型 Ink-2
Cartesia 发布语音转文本模型 Ink-2，面向实时语音代理，称其在 Artificial Analysis 流式榜单上以最低词错误率排名第一，并内置语义端点检测。官方数据显示其 Time-to-Final-Transcript 为 0.1s，在 14 种英语口音的 AppTek 基准上 WER 为 8%，内部生产环境基准 WER 为 6.5%，轮次检测 F1 为 93%。Ink-2 已在 play.cartesia.ai 上线，可通过 API 使用，并接入 LiveKit、Vapi 和 Pipecat，多语言支持尚在开发中。
推荐理由：官方给出 Ink-2 在准确率、轮次检测和延迟三项指标上的对比数据，可据此判断语音代理的选型取舍。
声网博客精选评分6060 声网拆解出海语聊房 AI 降噪配置：中东噪音环境与东南亚弱网下的 AINS 档位选择
声网针对出海语聊房给出 AI 降噪配置策略：中东中央空调等稳态噪声用传统降噪（WebRTC NS）已够用，市集、水烟咖啡馆的非平稳人声背景才是 AI 降噪优势区。东南亚弱网下，丢包率超过 5% 时部分 AI 降噪模型会因帧缺失产生噪声伪影；骁龙 400 系列等入门芯片叠加混音与编解码后 CPU 占用可能超过 70% 并触发热节流，通话 10–15 分钟后音频不连贯。声网建议按设备档位与丢包情况动态选择 AINS 强度，低端设备任意网络下用传统 NS。
推荐理由：声网按中东与东南亚两类噪音环境给出 AINS 档位与降级配置，并说明低端设备弱网下传统降噪更稳的边界。
Cactus Engineering Blog精选评分6262 Cactus 开源 26M 参数函数调用模型 Needle：端侧预填充 6000 tok/s
Cactus 开源从 Gemini 蒸馏的 26M 参数函数调用模型 Needle，消费级设备上预填充 6000 tok/s、解码 1200 tok/s；核心观察是工具调用本质是检索与组装而非推理，因此采用纯注意力加门控结构、完全去掉 FFN。
推荐理由：端侧函数调用模型的代表性工作，结构取舍结论对端侧 AI 有普适启发。
声网博客精选评分6666 声网泛 IPC 弱网方案：80% 丢包下保画面与 5 秒连通率 99.5%
针对家庭摄像头、割草机等天然弱网部署场景，声网以 SD-RTN 为骨架做四层对抗：秒级网络感知与动态路由、秒级降码率加渐进恢复、FEC+NACK 双保险（称音频可抗 80% 丢包、视频 40%）、以及首帧关键帧优化；对外指标包括 80% 丢包下音视频流畅、设备 5 秒连通率 99.5%、出海首次激活成功率 >99.9%，SD-RTN 全球延时中位数 <76ms。
推荐理由：厂商披露的极端弱网量化指标与全链路对抗逻辑，对 IPC/IoT 类产品选型有直接参考。
声网博客精选评分6464 声网 IPC 秒开实践：Chrome 端首帧压到 300ms 以内
声网把首帧定义为“视频第一帧在本地渲染显示”的结果指标，从关键帧触发、建链协商、路径选择、终端渲染四处下手：建议引擎提前创建初始化、enableVideo 前设好编码配置，参考最佳实践后 Windows/macOS Chrome 首帧最低可降到 300ms 以内；方案整体给出 99.9% 连通成功率、SD-RTN 覆盖 200+ 国家、全球延时中位数 <76ms、80% 丢包下仍流畅。
推荐理由：有明确数字的首帧优化案例，且强调弱网与跨国条件下的首帧成立概率。
海外技术动态精选评分6060 Apple M5 Pro/M5 Max 媒体引擎确认支持 AV1 硬件解码与 ProRes 编解码
Apple 发布 M5 Pro 与 M5 Max 芯片（新 MacBook Pro 3 月 4 日预订），媒体处理引擎支持 H.264/HEVC 硬件加速、AV1 硬件解码以及 ProRes 编解码引擎，并首次在所有 M5 系列产品线铺开；配合新一代 GPU（每核内置神经网络加速器）与更高统一内存带宽（M5 Max 达 614GB/s），面向 8K 视频剪辑与 AI 工作流。
推荐理由：苹果芯片全面铺开 AV1 硬件解码，是端侧编解码硬件格局的实质性变化，影响流媒体平台编码策略。
Daily.co Blog评分3838 在 NVIDIA DGX Spark 上训练 Smart Turn 模型实测
Daily.co 在 NVIDIA DGX Spark 上完成了开源 Smart Turn 语音轮次检测模型的训练，耗时约 61 分钟，与 NVIDIA L4 的 79 分钟和 RTX 5060 Ti 的 53 分钟大致相当。借助 128GB 统一内存，训练批次大小可设为 2000，但需改用 Arm 版依赖并启用 torchcodec 的 aarch64 nightly 构建。
Cartesia Blog精选评分7171 Cartesia 发布流式语音转文字模型 Ink-Whisper
Cartesia 推出流式语音转文字（STT）模型系列 Ink，首发模型 Ink-Whisper 基于 OpenAI 的 Whisper 改造，面向实时语音应用。官方称其采用动态分块处理变长音频片段，在电话音质、专有名词、背景噪声、口语停顿和口音等数据集上，词错误率优于 whisper-large-v3-turbo 基线；在停止说话后完成转写的时间（TTCT）中位数为 66ms、P90 为 98ms，并称其为所测试流式 STT 模型中最快。定价为每秒 1 credit，Scale 套餐下约 $0.13/hr，可集成 Vapi、Pipecat 和 LiveKit。
推荐理由：Cartesia 发布流式语音转文字模型 Ink-Whisper，给出与 Whisper 基线和多家流式模型的 WER、TTCT 对比数据，可据此判断实时语音场景的选型。
Cartesia Blog评分3636 Cartesia 获 Kleiner Perkins 领投 6400 万美元 A 轮融资，发布语音生成模型 Sonic 2.0
Cartesia 宣布完成由 Kleiner Perkins 领投的 6400 万美元 A 轮融资，并推出基于状态空间模型架构的语音生成模型 Sonic 2.0。该模型规模是 Sonic 的两倍但速度更快，全模型延迟 90ms、turbo 模式 40ms，在 100 个留出音色的盲测中偏好度达次优厂商的 1.5 倍，同时新增变声与音频填充两个接口。
Cartesia Blog评分2222 Cartesia 发布 2024 年语音 AI 现状报告：梳理三大趋势并展望 2025
Cartesia 首份《2024 年语音 AI 现状报告》梳理出三大趋势：编排式 STT→LLM→TTS 语音系统与端到端语音到语音模型兴起，Kyutai 的 Moshi 等全双工模型实现"边听边说"；STT、LLM、TTS 三环节成熟推动语音 AI 进入企业级自然对话，LLM 成本从 GPT-4 的 45 美元/百万 token 降至 Llama 3.1 70B 的 2.75 美元/百万 token；LiveKit、Daily 及 Vapi 等编排平台将原本 6-12 个月的开发周期缩短至数周。
Cartesia Blog精选评分6060 Cartesia 发布端侧智能更新：开源 SSM 库 Edge、1.3B 模型 Rene 与 Sonic On-Device 内测
Cartesia 发布端侧智能更新，推出开源（Apache 2.0）SSM 库 Edge、1.3B 参数开源语言模型 Rene，以及进入内测的 Sonic On-Device。Edge 面向 Apple M 系列芯片提供 Mamba-2 的 Metal 内核，并配套 Python 包 cartesia-mlx；Rene 采用 Mamba-2 与 MLP 交替、穿插滑动窗口注意力的混合结构，在 1.5T tokens 的 Dolma-1.7 上训练，推理时内存占用固定，支持 8-bit 和 4-bit 量化。Sonic On-Device 支持端侧低延迟实时流式生成语音，具备即时克隆与可控发音、语速和情感。
推荐理由：Cartesia 把 SSM 架构落到端侧，同时开源模型与推理库，可据此判断端侧语音与语言模型的可行路径。