Albert Gu 团队发布新版 H-Net：字节级语言建模在缩放实验中效率提升最高 3-5 倍

译自英文 · 查看原文

我一直相信，智能应当来自简单、通用的构建模块，它们直接从原始数据中学习自己的抽象；换句话说，就是“苦涩的教训”（the bitter lesson）。我认为我们终于看到了朝着能够从所有数据中学习的 AI 迈出的真正一步。 基于原始字节的语言建模是这一理想的缩影，在我看来它是 AI 的核心问题：如果我们无法构建端到端从字节学习的 LLM，又该如何处理世界上那些我们理解得更少的其他数据？ 去年我们推出了分层网络（H-Nets），作为第一步。我们的新版本在受控的缩放定律实验中实现了最高 3-5 倍的效率提升，并且在更大规模上，以约 10 倍更少的数据和算力，追平了一个在 11T tokens 上训练的开源模型。下面的帖子介绍了我们的发现以及我们认为它有效的原因。