跳到正文
9月10日周四
  1. FunASR Releases28

    FunASR 1.4.15 发布:兼容 NumPy 2,修复流式与训练可靠性

    FunASR 1.4.15 发布,移除 NumPy 版本上限并兼容 NumPy 2,同时修复 KWS 跨包/EOS 边界丢帧、动态 VAD 静音调度计入空闲时间及检查点排序纳入无效验证指标等问题。该版本还新增 MOSS 的 Gradio 配置与离线 vLLM 整段转写示例,支持时间戳和匿名说话人标签。NumPy 兼容性仅在 Linux/Python 3.12、NumPy 1.26.4 与 2.4.0 环境下验证,不保证覆盖所有历史依赖与 GPU 组合。

9月9日周三
  1. LiveKit Blog62

    LiveKit 解释语音智能体中 VAD inference is slower than realtime 警告的含义与排查方法

    LiveKit 说明语音智能体日志中的 VAD inference is slower than realtime 警告与 STT、TTS、LLM 模型无关,指的是智能体进程内的语音活动检测模型处理 32ms 音频窗口耗时超过 32ms,警告中的延迟表示 VAD 落后实时音频的程度,Python 以秒、Node.js 以毫秒报告。排查应先排除阻塞事件循环的同步代码,再检查 CPU 负载,可通过 VAD 的 metrics_collected 事件中 inference_duration_total 与 inference_count 的比值判断是 CPU 饥饿还是事件循环阻塞;不要给 VAD 增加线程或调大 max_buffered_speech、num_idle_processes。

    推荐理由:LiveKit 官方拆解 VAD 落后于实时音频的成因与排查顺序,可对照日志中的延迟数值定位是 CPU 还是事件循环问题。

  2. 声网博客24

    停车场云值守如何把摄像头画面实时搬进微信小程序:声网方案解析

    声网针对停车场云值守场景,将微信小程序 live-pusher/live-player 组件封装为标准 RTC 接口,解决小程序不支持 WebRTC 协议栈、仅支持 H264 编码的接入难题。其 SD-RTN 网络配合 FEC 与 NACK,实测 80% 丢包下音频仍清晰、40% 丢包下视频基本连贯,并支持多路视频流并发接入与毫秒级首帧出图。

8月27日周四
8月24日周一
  1. LiveKit Blog62

    LiveKit 解析语音智能体短语音应答失败的原因与排查方法

    LiveKit 发文梳理语音智能体对 yes、no、ok 等短语音应答失败的原因,指出回合结束需要 final_transcript 和 end_of_speech 两个事件同时满足,中间转写不会关闭回合。文章列举 STT 未生成最终转写、端点检测过于激进或过于宽松、噪声抑制误删短语音、SIP 通话质量差以及 backchannel 被误判为打断等成因,并给出对应做法,包括启用 transcription_timeout 做优雅恢复、turn_detection="stt" 时将 endpointing.min_delay 设为 0、按场景选择 voice isolation 或 background noise suppression、优先使用 G.722 等支持 HD voice 的编解码器,以及用自适应打断处理识别 backchannel。

    推荐理由:LiveKit 官方梳理短语音回合检测失败的常见成因,并给出可逐项排查的配置与恢复手段。

8月12日周三
  1. 声网博客62

    声网拆解游戏语音卡顿排查:从玩家反馈到 RTC 指标的质量监控方法

    声网发布游戏语音质量监控方法,把语音可用链路拆成开启语音、获取频道信息、加入频道、发布订阅、音频播放五个时间点,建议接通率以最后必要环节为准,持续低于 98% 通常说明存在系统性问题。文章结合 Unity RTC 回调给出排查顺序:听不到先查频道、OnRemoteAudioStateChanged 订阅状态和音频路由,再查网络;卡顿用 OnRemoteAudioStats 的 audioLossRate、frozenRate、jitterBufferDelay、e2eDelay 和 mosValue 区分网络与客户端问题,并建议质量看板先保留接通率、可听首帧时间、卡顿率、端到端延迟 P95 等八项指标。

    推荐理由:声网结合自家 Unity RTC 回调,把游戏语音从玩家反馈到指标看板的排查链路拆成可落地步骤。

  2. 海外技术动态66

    Deepgram 发布 Flux TTS:面向实时语音 Agent 的“对话原生”文本转语音模型

    Deepgram 发布对话原生 TTS 模型 Flux TTS,主张把 VAD、barge-in、状态管理和对话历史回喂等编排职责收进模型本身:跨轮保持语气、节奏与发音,无需 SSML 或风格标签,原生处理打断并回报“用户实际听到的内容”,每句话有 Idle/Generating/Completing 生命周期事件,且支持说话中改语速与发音。技术上是三项选择——高保真神经编解码、文本与音频交错生成(官方称首音频延迟最低 80ms、长度无关地保持在 200ms 以内)、Mamba 状态空间骨干以固定大小记忆跨会话持有上下文。官方称其朗读词错误率中位 2.2%(约为 ElevenLabs 的一半、Cartesia 的三分之一),难例 3.4%,可云端、自托管或本地部署。

    推荐理由:TTS 从“朗读”转向“面向对话状态”的代表性产品发布,直接影响语音 Agent 的打断与跨轮一致性。

8月11日周二
  1. Cartesia Blog58

    Ink-2 新增关键词提示与可配置轮次检测:专有名词转写更准

    Cartesia 为流式 STT 模型 Ink-2 发布两项功能:keyterm prompting 支持最多 100 个关键词(共 1200 字符)无额外延迟地提升品牌名、药名等实体转写,可配置 turn detection 则允许在端点检测的速度与准确率间调优,并给出 Earnings22 关键词召回数据。

    推荐理由:面向语音 Agent 实战的 STT 能力增强,关键词提示是行业普遍痛点。

8月4日周二
  1. 声网博客22

    智能硬件语音交互架构解析:麦克风、RTC、ASR、LLM、TTS 全链路

    智能硬件语音交互的体验瓶颈往往不在 LLM,而在麦克风采集、回声消除、RTC 实时传输、流式 ASR、TTS 播放与打断控制等基础环节。文章拆解了从采集、前处理、实时传输到 ASR、LLM、TTS、播放与打断的完整链路,指出 RTC 是弱网下保持语音连续的关键通道,并建议量产前按真实场景验证麦克风、弱网重连、儿童语音与云端成本。

7月28日周二
  1. Cartesia Blog38

    TTS 模型好不好?为什么语音合成评测随模型进步而失效,以及如何衡量真正重要的指标

    Cartesia 发文分析 TTS 评测为何随模型进步而失效:语音合成是一对多映射,同一文本可有兴奋、愤怒、悲伤、讽刺等多种正确读法,WER 在可懂度解决后趋于饱和,且受 ASR 质量牵制。评测还需覆盖上下文正确性、文本规范化与专有名词读音,这些错误即使语音流畅也难以察觉。

7月22日周三
  1. 声网博客62

    声网拆解 Voice Agent 延迟:STT、LLM、TTS 与 VAD 的可观测指标

    声网把 Voice Agent 的端到端延迟拆成 RTC 延迟、算法前处理延迟、ASR 延迟、LLM 延迟和 TTS 延迟,启用数字人时再加渲染延迟,并给出各段典型范围,如 RTC 150-300 ms、ASR 末字延迟 400-700 ms、LLM 首字节 250-1000 ms、TTS 首字节 100-350 ms。文章建议按轮次记录 session_id、turn_id、asr_final_ts、llm_first_token_ts、tts_first_audio_ts、interrupt_detect_ts 等字段,并分别观测 ASR 的 TTLW 与 WER、LLM 的 TTFB 与 TTFS、TTS 首帧音频、VAD 的起止检测延迟和打断成功率。选型阶段可用声网 AI 模型评测平台对比 ASR、LLM、TTS 组合的 P50、P90、P99 延迟与成本,上线后再用会话级 trace 定位瓶颈。

    推荐理由:把 Voice Agent 的端到端延迟拆成 RTC、ASR、LLM、TTS、VAD 各段,并给出可采集的会话字段与仪表盘结构,适合直接对照搭建观测体系。

7月20日周一
7月8日周三
  1. 声网博客34

    2026年7月值得一试的5个免费语音AI开发工具

    声网博客整理了5个可直接上手的免费语音AI工具,覆盖TTS、ASR与端到端语音对话链路。Bosonai Higgs TTS 3以4B参数提供零样本声音克隆和100+语言支持,API免费限速且兼容OpenAI格式;HuggingFace开源语音栈由Parakeet、Gemma 4 31B和Qwen3TTS组成,已在超9000台Reachy Mini机器人上部署。其余为浏览器转录工具SoundWise、支持单词级编辑的开源TTS ViiTorVoice,以及研究导向的扩散式ASR模型。

7月2日周四
  1. webrtcHacks62

    在 Chromium 中启用 libopus AVX2 使 Opus 编码提速约 20%

    作者在桌面 Chromium 的 libopus 构建中启用 AVX2 向量化,替换失效的 OPUS_X86_MAY_HAVE_AVX 并新增 opus_avx2 source_set,编译三个 _avx2.c 内核,使 Opus 编码时间减少 23%。实测显示语音编码下降 17% 至 23%,在复杂度 8、9、10 下稳定;音乐仅降约 2%,解码基本不变。约 96% 的 SILK 收益来自 silk_NSQ_del_dec,该改动已进入 Chromium 152。

6月30日周二
  1. Cartesia Blog22

    语音 AI 术语入门指南:理解、评估和构建对话式语音 AI 的 20 个关键术语

    Cartesia 发布语音 AI 术语入门指南,梳理构建对话式语音 AI 所需的 20 个关键术语,涵盖 STT、VAD、TTS 等核心语音处理链路概念。文章指出,打断处理、轮次检测和语音隔离等能力决定语音代理的对话体验,其 Ink-2 STT 模型已将轮次检测内置,无需单独集成 VAD 模型。

6月24日周三
  1. 声网博客60

    声网拆解出海语聊房 AI 降噪配置:中东噪音环境与东南亚弱网下的 AINS 档位选择

    声网针对出海语聊房给出 AI 降噪配置策略:中东中央空调等稳态噪声用传统降噪(WebRTC NS)已够用,市集、水烟咖啡馆的非平稳人声背景才是 AI 降噪优势区。东南亚弱网下,丢包率超过 5% 时部分 AI 降噪模型会因帧缺失产生噪声伪影;骁龙 400 系列等入门芯片叠加混音与编解码后 CPU 占用可能超过 70% 并触发热节流,通话 10–15 分钟后音频不连贯。声网建议按设备档位与丢包情况动态选择 AINS 强度,低端设备任意网络下用传统 NS。

    推荐理由:声网按中东与东南亚两类噪音环境给出 AINS 档位与降级配置,并说明低端设备弱网下传统降噪更稳的边界。

6月10日周三
  1. LiveKit Blog58

    LiveKit 拆解语音 Agent 降噪:在 Agent、客户端还是 SIP 中继上做,选哪种模型

    LiveKit 梳理降噪在音频链路中的三处落点——Agent 内(服务端处理入站音频,语音 AI 的推荐默认)、客户端 SDK(麦克风侧,支持 Krisp 与 WebRTC noiseSuppression)、SIP 中继(电话场景)——并区分两类增强模型:“背景噪声抑制”只去除非语音噪声、保留所有说话人,适合多说话人/说话人分离;“人声隔离”(BVC)进一步压制竞争人声、只留主说话人,适合单说话人如呼叫中心。文章强调两个增强模型不要串联在同一路音频上(模型按原始音频训练,二次处理会导致转写准确率下降,但标准 WebRTC 噪声抑制与回声消除可同时开启),并说明语音 AI 建议在 Agent 内降噪、直播在客户端、无 AI 的电话在中继上降噪。

    推荐理由:降噪是语音 Agent 转写与话轮检测质量的前置环节,给出了清晰的落点与模型选择规则。

5月26日周二
  1. 声网博客28

    2026年5月开源语音合成模型TTS推荐与测评:Higgs Audio V2、CosyVoice 2等六款横评

    2026年5月开源TTS横评覆盖Higgs Audio V2、Kokoro-82M、VibeVoice-1.5B、CosyVoice 2、Fish Speech和F5-TTS六款模型,按音质、速度、中文能力与资源消耗对比。CosyVoice 2中文自然度MOS 4.7居首,Higgs Audio V2情感表达4.7最强,VibeVoice-1.5B单次可生成90分钟、4说话人长音频。Kokoro-82M仅82M参数、4GB VRAM即可运行,Fish Speech协议为CC BY-NC-SA不可商用。

5月20日周三
  1. LiveKit Blog64

    LiveKit 实测:叠加摄像头与屏幕共享后音频质量是否劣化

    针对“开视频会拖累音频”的外部说法,作者在 LiveKit Cloud 上做三组 60 秒对照测试:纯音频时约 50kbps、0% 丢包、约 7ms 抖动、约 27ms RTT;加入 720p 摄像头(2.3Mbps)和屏幕共享(合计 3.9Mbps)后音频的码率、丢包、抖动、RTT 均无变化,视频侧则自动降码率;作者同时列明局限:单设备、单地点、理想网络、仅测音频带宽/丢包/抖动。

    推荐理由:用可复现的对照实验回应具体性能质疑并如实标注测试边界,是少见的音频质量实证。

5月12日周二
5月6日周三
4月6日周一
3月24日周二
  1. WebKit Blog63

    Safari 26.4 支持 WebTransport 与多麦克风采集

    WebKit 在 Safari 26.4 加入 WebTransport,面向低延迟场景(多人游戏、实时协作、视频会议);macOS 上 getUserMedia 可同时采集多路麦克风并动态把已有采集迁移到合适处理单元、同时管理回声消除,便于做播客工具与多路录音;此外增强字幕外观自定义(字号、颜色、背景等)。

    推荐理由:WebTransport 落地与多麦克风采集是实时音视频在 Safari 上的能力补齐。

2月10日周二
1月4日周日
  1. 声网博客54

    声网解析丢包容错(PLC):插入、插值与重构三类算法

    按发送端丢包恢复与接收端 PLC 两条线展开:发送端靠 FEC 与低比特冗余,接收端 PLC 不占额外带宽、不增延迟,分插入、插值(波形替换、音高波形复制、时域校正,G.711 采纳音高复制)与基于重构的合成(如 G.723.1 插值线性预测系数)三类,并说明 PLC 常与 FEC、自适应码率配合使用。

12月6日周六
  1. 中文技术动态66

    火山引擎发布豆包语音识别模型 2.0:关键词召回率提升 20%,支持 13 种海外语种

    火山引擎 2025 年 12 月 5 日发布豆包语音识别模型 2.0(Doubao-Seed-ASR-2.0):基于 PPO 强化学习做上下文推理识别,上下文关键词召回率提升 20%,支持单图/多图视觉输入辅助识别,并支持日语、韩语、德语、法语等 13 种海外语种。

    推荐理由:ASR 2.0 引入视觉多模态辅助语音识别,是"听得懂"到"看得懂"的代际更新。

11月4日周二
10月30日周三