Unsloth 新版支持只用 CPU 训练文本模型,并提升生成速度
Unsloth 发布 v0.1.914 测试版。没有显卡的用户现在可以直接在训练页面用 CPU 微调文本模型。生成速度也有提升:在 Linux 或 WSL 下的 NVIDIA 显卡上,部分单卡运行的 Llama 和 Qwen3 模型生成更快,官方在 A100 上自测,压缩到 4 位的 Qwen3-8B 每秒生成的 token 从 25.7 个增加到 99.1 个,约快 3.9 倍。新版还增加了多显卡训练的设置:单块显卡装不下的模型可以按层分到几块显卡上加载,也可以通过 UNSLOTH_PARALLEL 这个设置组合几种把训练拆到多块显卡上的方式。界面上新增了玻璃风格主题、自定义问候语和背景,以及可以预览、收藏和跳转到之前消息的聊天导航。
为什么重要
没有显卡也能在 Unsloth 里微调小模型,有多块显卡的人也多了训练大模型的办法。
来源1
由 dalao.ai 撰写:标题、摘要和“为什么重要”是我们自己的文字;事实以原始报道为准,著作权归原发布者所有。