字节跳动 Seed 发布先压缩语义再生成文本的连续潜向模型 Cola2

官方原文·自动收录原文标题 ByteDance-Seed/Cola2

字节跳动 Seed 发布连续潜向语言模型 Cola2，把语义压缩与离散文本生成放在一起训练。它用动态压缩变分自编码器把文本编成紧凑连续潜变量，再用约 4B 参数、块因果的 Diffusion Transformer（DiT）生成潜变量块，并由带潜变量反馈的 span-causal token decoder 还原成离散 token。训练先联合训练编码器与 token 解码器，再以 token 侧信号继续适配该 VAE，同时 DiT 通过 Flow Matching 学习分离的潜变量分布；推理时循环提出潜变量块、解码 token，并按固定片段布局回编码已确定文本。检查点按模型卡用 346.03B 源 token 训练，论文自报八项评测均分 60.10；潜变量生成有随机性，单次结果可能不同。配套论文为 arXiv:2610.31305。

由 dalao.ai 自动收录：标题按固定模板生成，原文标题未改动；事实以官方原文为准，著作权归原发布者所有。