FFmpeg Vulkan 代码维护者 Lynne 撰文解释如何用纯计算着色器在任意 Vulkan 1.3 GPU 上实现完整编解码器（FFv1、ProRes、DPX 等），不依赖厂商固定功能单元，并指出全 GPU 常驻（无 CPU 回传）是持续快速的关键；文章给出并行化与串行瓶颈的权衡分析。
推荐理由：随 FFmpeg 8.1 发布的官方配套深度技术文，代表开源视频硬件加速路线的重要方向。
FFmpeg 8.1 "Hoare" 小版本发布，新增 xHE-AAC Mps212（实验性）、经 libmpeghdec 的 MPEG-H 解码、EXIF 元数据解析和 LCEVC 元数据解析转发，并加入基于 Vulkan 计算的 ProRes 编解码与 DPX 解码、D3D12 H.264/AV1 编码及 scale_d3d12 等滤镜、Rockchip H.264/HEVC 硬件编码。该版本还包含大量内部改动与缺陷修复，Vulkan 计算编解码器和部分滤镜不再依赖运行时 GLSL 编译，swscale 重写的前期工作正在推进。
推荐理由：FFmpeg 8.1 汇总了解码器、Vulkan 与 D3D12 硬件编解码及新滤镜等变化，可据此判断升级与硬件加速路径。
TADA（Text-Acoustic Dual Alignment）为每个文本 token 对齐一条连续声学向量，每秒音频仅需 2–3 帧而非传统方案的 12.5–75 帧，RTF 达 0.09（快于同级 LLM-TTS 5 倍以上）；在 LibriTTS-R 1000+ 样本上以 CER>0.15 为门槛测得零幻觉，2048 token 上下文可容纳约 700 秒音频（传统方案约 70 秒），轻量到可端侧部署，代码与预训练模型已开放。
推荐理由：从架构层面消解 LLM-TTS 的跳词幻觉问题并显著提速，开源后可直接进入语音 Agent 技术栈。
Tavus 发布 Raven-1 多模态感知系统，将音频、视觉与时间动态统一处理并实时对齐，通过语调、表情、迟疑和语境判断用户真实意图，而非仅依赖文字转写。此前其 Raven-0 已让 AI 具备解读视觉语境的能力。该系统针对传统对话 AI 将语音转为文本后丢失语调、节奏、非语言声音和情绪变化等信息的问题，主张情绪是连续且分层的，无法归入固定类别。
Apple 发布 M5 Pro 与 M5 Max 芯片（新 MacBook Pro 3 月 4 日预订），媒体处理引擎支持 H.264/HEVC 硬件加速、AV1 硬件解码以及 ProRes 编解码引擎，并首次在所有 M5 系列产品线铺开；配合新一代 GPU（每核内置神经网络加速器）与更高统一内存带宽（M5 Max 达 614GB/s），面向 8K 视频剪辑与 AI 工作流。
推荐理由：苹果芯片全面铺开 AV1 硬件解码，是端侧编解码硬件格局的实质性变化，影响流媒体平台编码策略。
Streaming Learning Center 盘点直播编码器把感知质量指标纳入率控闭环的进展：MainConcept 的 VMAF-E 以实时 VMAF 代理在编码序内驱动率控，Synamedia 用 pVMAF 实现按频道的画质目标与优先级调度，Meta 与 FFmpeg 7.0+ 将 PSNR/SSIM/VMAF 用于实时监控与机群可视化。文章建议采购直播编码器时重点确认三件事：是否暴露可独立验证的指标、指标是否在率控环内、能否按频道设定画质目标。
推荐理由：质量指标从离线评估走向在线率控是直播编码的重要工程趋势，文中给出可落地的采购核查清单。
MPEG 第 153 次会议发布超越 VVC 的下一代视频压缩联合 Call for Proposals 草案（JVET-AO2026），要求提交在压缩性能或附加功能上显著超越 VVC 的技术，明确接受传统信号处理与神经网络/AI 两类方案，并设运行时受限编码测试项；提案将于 2026 年 10 月底截止、2027 年 1 月评审，首版标准预计 2029 年底定稿。同会还推进 ISO/IEC 23888-2 机器视觉编码至 DIS、发布 VVC 符合性测试第三版与 MPEG-I 沉浸式音频验证测试（专家评分中位 84/100）。
推荐理由：后 VVC 时代标准化路线图正式定调，CfP 范围明确纳入神经编解码，是未来五年编码器与硬件规划的锚点。
Pipecat 团队发布面向实时语音智能体的 STT 基准，在 1000 条真实人类语音样本上测试 10 家 STT 服务，同时衡量转写延迟（TTFS）与语义准确率。中位延迟上 Deepgram Nova 3（247ms，1.62% WER）、Soniox（249ms，1.29% WER）、Speechmatics（495ms，1.07% WER）位于帕累托前沿。基准用 Claude 做语义 WER 评估，只统计会导致 LLM 理解不同的错误，并强调 P95 延迟与 finalization 支持比中位数更影响对话体验；代码已在 GitHub 开源，Pipecat 0.0.102 起可设置 ttfs_p99_latency 参数。
推荐理由：Pipecat 团队用 1000 条真实语音对比 10 家 STT 服务的延迟与语义准确率，并给出可自行复现的基准工具。
三星主导的 Advanced Professional Video（APV）码流格式与解码过程以 RFC 9924（Informational，Independent 流）发布，2026 年 2 月正式公布：面向录制与后期制作场景，提供视觉无损压缩、无帧间预测的低复杂度高吞吐帧内编码（含变换域预测的低延迟模式）、最高数 Gbps 的 2K/4K/8K 码率、帧 tiling 并行编解码、4:0:0 至 4:4:4:4 色度采样与 10/12bit 位深、支持 HDR10/10+ 元数据及多次解码再编码而不显著劣化。
推荐理由：专业制作链路有了免版税的开放码流规范，配合 FFmpeg/OpenAPV/AOSP 实现，是 ProRes 类中间格式的重要开源替代。
北大与字节跳动团队发现反直觉现象：编码码率未用满带宽时卡顿仍频发，根因是实时编码的瞬时码率波动让包级拥塞控制误判可用带宽；Camel 改用帧级网络反馈估计真实容量，由带宽与时延估计器、拥塞检测器与突发长度控制器组成；在 2.5 亿用户、20 亿会话、150+ 国家的真实平台上线后，1080P 分辨率占比最多提升 70.8%，媒体码率提升 14.4%，卡顿率最多下降 14.1%；仿真中码率高 19.8%、卡顿率低 93.0%、带宽估计精度提升 23.9%。
推荐理由：从真实大规模平台发现问题并验证的拥塞控制研究，WWW 2026 收录，数据完整。
Daily.co 在 NVIDIA DGX Spark 上完成了开源 Smart Turn 语音轮次检测模型的训练，耗时约 61 分钟，与 NVIDIA L4 的 79 分钟和 RTX 5060 Ti 的 53 分钟大致相当。借助 128GB 统一内存，训练批次大小可设为 2000，但需改用 Arm 版依赖并启用 torchcodec 的 aarch64 nightly 构建。
针对静态 FEC 配置在丢包率与缓冲变化下要么浪费带宽要么保护不足的问题，TAROT 逐段选择冗余度、块大小与符号化参数，联合考虑传输层丢包/goodput、应用层缓冲动态与块级时序；支持 Reed-Solomon、RaptorQ 与 XOR 码，在低延迟直播与 VOD、多种网络轨迹与 ABR 算法下，FEC 开销最多降 43%，感知质量提升 10 VMAF。
推荐理由：用优化模型替代经验阈值的 FEC 调参方法，兼顾开销与画质的量化结果有工程参考价值。
OpenMOSS 的对话式 TTS 项目 MOSS-TTSD 打上 v0.7 标签，release 说明仅注明这是 v1.0 迁移前的存档版本（Archive v0.7 before v1.0 migration），未列出具体功能变更或指标。
Janus 官方基于 multistream 的 master 分支首次打出 1.4.0 版本，旧 0.x 分支同步发布 0.16.0；此后 master 进入 1.4.1、0.x 进入 0.16.1 维护，双轨版本策略正式成型。
推荐理由：Janus multistream 迁移的关键节点版本，影响所有 Janus 部署的升级路线。
YouTube 宣布自动配音面向所有创作者开放并扩展至 27 种语言：2025 年 12 月日均超 600 万观众观看 10 分钟以上自动配音内容；Expressive Speech 在英法德等 8 种语言上线以保留情绪表达，同时新增观众偏好语言设置与音乐/静音视频智能过滤，唇形同步处于试点阶段。
推荐理由：全球最大视频平台的 AI 配音规模化数据与功能边界，是配音行业与 AI 增强的风向标。
Daily 发布语音智能体基准 aiwf_medium_context，测试文本模式 LLM 与语音到语音模型在约 30 轮长对话中的工具调用、指令遵循和知识引用，源码已在 GitHub 开源。结果显示已有三个模型在该基准上各项指标达到 100%，但都太慢，无法满足语音智能体所需的 1500ms 以内语音到语音响应（约对应文本模型 700ms TTFT）；生产中最常用的仍是 GPT-4.1 和 Gemini 2.5 Flash，AWS Nova 2 Pro 在性能与延迟上与之持平。语音到语音模型中 Ultravox 0.7 表现突出，GPT Realtime 通过率为 86.7%，低于 GPT-4.1 的 94.9%。
推荐理由：Daily 公开语音智能体基准的源码与结果，可看到长多轮对话下模型能力与延迟之间的取舍。
Jean-Baptiste Kempf 在 FOSDEM 2026 发布的年度社区状态更新，覆盖 FFmpeg、VLC、x264、dav1d、libplacebo、libspatialaudio 等开源多媒体项目的最新进展，以及新项目 Kyber 的动态。
推荐理由：开源音视频核心生态的一年一度社区盘点，了解项目走向的捷径。
GStreamer 1.28.0 于 2026 年 1 月 27 日发布，亮点包括 AMD HIP 插件与集成库、Vulkan Video 的 AV1/VP9 解码与 H.264 编码、waylandsink HDR10 元数据、基于 demucs 的 Rust 音频源分离元素、LiteRT 推理元素，以及 hlscmafsink 等 CMAF 单变体 HLS 输出元素。
推荐理由：多媒体框架大版本更新，硬件编解码与 CMAF/HLS 输出能力直接影响转码与分发链路实现。
文章拆解抖音世界杯"边看边聊"方案：单房间 500 人加入、9 人上麦、其余旁听，对比语音聊天室与 RTC 互动语聊两种方案后选择后者以避免 CDN 转推 1-3 秒的聊天不同步，RTC 通话语音切片存储供审核并提供踢人/拉黑运维 OpenAPI。
推荐理由：字节系大型赛事语聊场景的第一手工程架构文，含方案选型对比。
意大利公司 Bending Spoons 于 2025 年 11 月以约 13.8 亿美元（每股 7.85 美元）完成对 Vimeo 的私有化收购，2026 年 1 月 20 日宣布全球裁员，前员工称影响大部分员工、包括整个视频团队；这是 Vimeo 继 2025 年 9 月裁员 10% 后的第二轮，母公司此前收购 WeTransfer 后曾裁减 75% 员工。
推荐理由：老牌视频平台的归宿折射出独立视频 SaaS 的处境与并购整合模式的代价。
MiniMax 推出 Speech 2.8 系列（HD/Turbo 双档），可在文本中直接写入 (laughs)、(sighs) 等副语言标签并原位生成，支持约 10 秒参考音频快速复刻音色，重制音频管线以降低底噪与合成失真，覆盖 40+ 语言；已作为底层引擎服务多家语音 Agent 平台。
推荐理由：中文语音合成头部供给的代际更新，副语言标签与低门槛复刻直接影响 Agent 音色表现。
LiveKit 于 1 月 22 日宣布由 Index Ventures 领投的 1 亿美元 C 轮融资，Salesforce Ventures、Hanabi Capital 及老股东 Altimeter、Redpoint 跟投，估值 10 亿美元；其 Agents 框架月下载超 100 万次，网络每年承载数十亿次语音 Agent 通话，并已与全球电话运营商直连 PSTN；资金将用于扩展面向语音 AI 的算力、存储与网络服务。
推荐理由：实时音视频基础设施公司在语音 Agent 浪潮中的标志性融资，印证 RTC 云服务的价值重估。
Fraunhofer HHI 的开源 VVC/H.266 编码器 vvenc 发布 1.14.0，加入大量 ARM NEON/SVE SIMD 优化并在支持的平台上默认启用 SVE，改进 VUI 自动启用与颜色范围设置，将时间戳字段改为有符号整数并废弃 LMCS；此前版本宣称相对 VTM 参考软件有 20 至 2400 倍加速（视预设而定），支持最高 32 线程帧级并行。
推荐理由：VVC 软件编码生态的关键实现更新，ARM 优化降低了移动/嵌入式侧试用 VVC 的门槛。
SRT 基于 UDP 引入序列号与时间戳，用选择性自动重传替代 TCP 的顺序阻塞重传以避免队头阻塞，并可在配置的延迟窗口内换抗丢包能力；协议层内置 AES-128/256 端到端加密、传输层统一时间基准做音视频同步、仅出站连接简化防火墙穿透，还持续监测丢包/RTT/带宽/抖动以自适应调整；定位为专业直播与远程制作的低延迟传输方案。
Vidstack 作者回顾从 Vime 到 Vidstack 的 6 年：累计 90 亿次 CDN 请求、700 万次 NPM 下载、6200 个 GitHub Star 与 200 多个版本。核心结论是浏览器媒体元素的事件与状态不一致（事件可能不触发或连续触发），因此 Video.js v10 放弃插件式架构，改为编译期组件与可预测的状态流。
推荐理由：主流开源播放器 v10 重构的一手复盘，指向浏览器媒体事件模型的固有坑。
把抗弱网能力分为四层：发送前加固（抗错编码、I 帧最高保护等级的不平等保护、FEC 冗余）、传输中动态适配（实时探测带宽/丢包/延迟/抖动并调码率、按延迟预算决定是否重传）、接收端补救（运动补偿错误隐藏、FEC 解码恢复）、系统级协同（Wi-Fi 与蜂窝多路径传输、按接收者网络选发低码率高保护流）。
Deepgram 于 1 月 13 日宣布由 AVP 领投的 1.3 亿美元 C 轮融资，估值 13 亿美元，Twilio、SAP、Citi Ventures 等战略投资人入局，累计融资超 2.15 亿美元；CEO 称公司上一年度已现金流为正；资金用于全球化与多语言支持，同时收购 YC 孵化的餐厅语音点餐公司 OfOne（订单准确率宣称超 93%）。
推荐理由：语音 AI 基础设施赛道的头部融资，反映实时语音处理在 2026 年的资本热度。
声网推出对话式 AI 引擎，主打 2 行代码、15 分钟快速构建 AI 客服智能体，集成 ASR、NLP、LLM 与 TTS 全链路。其端到端响应延迟控制在 650 毫秒以内，打断响应为 340 毫秒，并可抑制高达 95% 的环境人声与背景噪声。接入需开通服务、集成 v4.5.1 及以上实时互动 SDK，并配置 LLM 与 TTS 供应商信息。
从协议本质对比两种方案：RTMP 基于 TCP，网络抖动时反复重传导致数秒至十几秒延迟；声网基于 UDP 私有协议加全球 200 多个节点调度，平均延迟 200-800ms、抗丢包率称可达 70%-80%；文中给出维度对比表（延迟、抗丢包、连麦体验、全球覆盖、成本）与大型发布会、电商带货、出海三类场景的选型建议。
按发送端丢包恢复与接收端 PLC 两条线展开：发送端靠 FEC 与低比特冗余，接收端 PLC 不占额外带宽、不增延迟，分插入、插值（波形替换、音高波形复制、时域校正，G.711 采纳音高复制）与基于重构的合成（如 G.723.1 插值线性预测系数）三类，并说明 PLC 常与 FEC、自适应码率配合使用。
按“感知—评估—决策—调整—反馈”闭环组织：持续监测吞吐、丢包、RTT、抖动与缓冲趋势做带宽估计，检测到丢包上升、RTT 增大或缓冲积压即启动拥塞控制，再渐进式调整码率、分辨率、帧率与编码结构以避免大幅波动；定位为 RTC、互动直播与弱网移动场景的核心支撑技术。
按 RFC 8445 梳理 ICE 四阶段流程：收集本地/反射/中继候选地址，并行发送 STUN 绑定请求做连通性检查，按网络距离设定优先级选路，主路径失效时自动切换 TURN 中继；说明该机制是 WebRTC 在 NAT 环境下建立媒体通道的基础。
xAI 与 LiveKit 合作推出 Grok Voice Agent API，将驱动 Grok 的语音到语音模型开放给开发者，Grok 已通过第一方应用和特斯拉车辆服务全球数百万用户。
推荐理由：头部模型厂商与实时基础设施厂商深度绑定的标志性合作。
Access Advance 与 Via Licensing Alliance 宣布（2025-12-15）前者收购 Via 的 HEVC/VVC 专利池项目，由其子公司 Video Codec Licensing LLC（VCL Advance）接手管理，目标是把此前分属两个池的 HEVC/H.265 与 VVC/H.266 必要专利整合为面向几乎所有实施场景的一站式许可，降低行业长期抱怨的多池叠加与交易摩擦；Via 转向无线充电、语音、EV 等既有项目。
推荐理由：HEVC/VVC 专利授权格局十年一遇的集中化调整，直接影响设备与流媒体厂商的版税成本与谈判结构。
WebKit 在 Safari 26.2 提供 RTCRtpHeaderExtensionParameters 接口用于描述媒体流使用的 RTP 头部扩展，使音频电平、视频方向、时序与应用自定义数据等元数据可与已加密的媒体负载分开控制，让开发者更细粒度地决定哪些元数据对网络中间设备可见；同版本还修复了 HDR 图像在 CSS 背景、边框与 SVG 中的解码渲染，以及 WebRTC 摄像头指示灯不熄灭等问题。
推荐理由：RTP 头部扩展接口关系 WebRTC 元数据与端到端加密边界，属标准化进展。
火山引擎 2025 年 12 月 5 日发布豆包语音识别模型 2.0（Doubao-Seed-ASR-2.0）：基于 PPO 强化学习做上下文推理识别，上下文关键词召回率提升 20%，支持单图/多图视觉输入辅助识别，并支持日语、韩语、德语、法语等 13 种海外语种。
推荐理由：ASR 2.0 引入视觉多模态辅助语音识别，是"听得懂"到"看得懂"的代际更新。
按 RFC 9000 梳理 QUIC 设计：1-RTT 首次握手、0-RTT 重连，基于 Connection ID 的连接迁移使 Wi-Fi 与 5G 切换无需重建会话，单调递增包编号消除重传模糊，连接级与流级双层流控；并分析其在 IM 长连接中的收益与 BBR 等可插拔拥塞控制对弱网的表现。
Chad Hart 回应 Fippo 的 MoQ 数据帖，认为“MoQ 会不会取代 WebRTC”这个提法本身有问题——互联网上传媒体有太多不同用例，MoQ 虽被包装成通用方案但更可能先在特定场景落地；文章按用例分析两者位置，并指出 MoQ 的 HTTP/3、QUIC、WebTransport 底座有内在技术优势，且 WebTransport 正获得所有现代浏览器支持。
推荐理由：从用例出发而非阵营出发的协议比较，帮助判断 MoQ 的真实落地顺序。
声网与游戏语音平台 Oopz 合作，将基于判别式 AI 的降噪技术融入游戏开黑场景，可识别并抑制稳态与非稳态噪音，覆盖十四大场景上百种噪音，并在端侧完成运算。该方案在低信噪比下保持人声清晰，配合去混响无啸叫技术解决多设备连麦的回声与啸叫问题。
Cloudflare 披露并修复其 QUIC 实现中与包确认相关的两个 DDoS 漏洞（客户未受影响），文章解析 Optimistic ACK 攻击向量及通过动态跳过包号验证客户端行为的解决方案。
推荐理由：QUIC 传输层安全的重要公开案例，MoQ/RTC over QUIC 部署需关注。