字节跳动 Seed 公开 GenFirst:VAE 和生成模型一起训练,先练生成、再补重建
官方原文·自动收录原文标题 ByteDance-Seed/GenFirst
训练图像生成模型,通常要先单独训好一个 VAE,把图片压缩成潜空间,再在上面训生成模型。字节跳动 Seed 公开的 GenFirst 把两步放在一起训:先让生成目标决定潜空间的样子,再慢慢加上重建要求,避免潜空间坍塌。ImageNet-256 上 SiT 的 gFID 为 0.97(用 CFG)。目前只放出 EiT 版本,权重和部分代码为 CC BY-NC 4.0,仅限非商业使用。
为什么重要
论文 8 月已发表,这次公开了代码和权重供复现。VAE 与生成模型通常分两阶段训练,GenFirst 提出端到端联合训练;权重和部分代码仅限非商业使用,且只有 EiT 版本。
来源3
由 dalao.ai 自动收录:标题按固定模板生成,原文标题未改动;事实以官方原文为准,著作权归原发布者所有。