Cartesia Blog·· 2025-07-11精选评分50
Cartesia 发布 H-Nets 分层网络研究，直接从原始数据学习
Hierarchical modelingIntroducing H-Nets, hierarchical architectures that learn directly from raw data by grouping inputs into higher-level concepts, overcoming tokenization limits.[Research]Jul 11, 2025
导读
Cartesia 公布分层网络 H-Nets 研究，其动态分块机制把原始数据切分并压缩为更高层概念，由编码器、主网络和解码器三部分组成。在语言建模上，H-Nets 直接从原始字节学习，数据扩展性优于使用 BPE 分词的 Transformer，在中文、代码和 DNA 等无自然分词边界的领域提升更明显，并可堆叠学习更深层级，对大小写等输入扰动更稳健。团队已在 HuggingFace 发布 H-Net 2-stage XL、1-stage XL 和 1-stage L 检查点。
推荐理由
原文给出 H-Net 在语言建模上的三项结果与架构设计，可据此判断分层建模对多模态与长上下文的适用边界。
来源：Cartesia Blog · cartesia.ai