Mirendil 发布首个从零预训练的模型 Fern，上下文最长 10M token
Fern 是 Mirendil 的首个模型，从零开始预训练，上下文窗口最长 10M token。首个版本 Fern 0.1 是 Mirendil-Base 经过一轮简短后训练得到的，面向专注、高频的智能体任务，例如审查训练数据、根据日志排查训练问题、完整阅读智能体轨迹。官方称 10M token 约合 23 MB 代码、约 50 万行。目前可申请抢先体验，正式开放标注为「即将推出」。
为什么重要
Mirendil 发布首个从零预训练的模型 Fern，上下文最长 1000 万 token，可一次放入大型代码库或长时间 agent 轨迹。
来源2
Mirendil媒体Mirendil 推出 Fern译自英文 · 查看原文 ·
- @shao__mengXMirendil 发布首个从零预训练的模型 Fern：把 10M token 当成另一种「算力」，服务「做 AI 的人」 @mirendil https://mirendil.com/news/introducing-fern/ 10M Token 能做什么：~ 23 MB 代码 / ~50 万行，Megatron-LM 量级，或「几天 agent 干活」的轨迹一次塞进上下文。0.1 版只做了短轮 post-training；Mirendil https://twitter.com/shao__meng/status/2114916415119770089/photo/1 https://twitter.com/bneyshabur/status/2114743262565339148查看原文 ·
由 dalao.ai 撰写：标题、摘要和“为什么重要”是我们自己的文字；事实以原始报道为准，著作权归原发布者所有。