Mistral 开放 1 万亿参数旗舰模型 Mistral Large 4 权重,上架 Hugging Face
Mistral 于 10 月 29 日发布 Mistral Large 4(Le Chonk)权重,该模型本月初已开放 API 预览。模型总参数约 1 万亿、激活 49B,支持图文输入和三档推理模式。Mistral 称预览后又做三周强化学习,Terminal-Bench 4.0 得分由 28% 升至 41%,自称编程最强的开放权重模型。量化版可在四张英伟达 B200 或 B300 GPU 上运行。
为什么重要
这是欧洲公司发布的规模最大的开放权重模型之一,开发者可自行部署、微调这一万亿参数级多模态模型;Mistral 还表示未来几个月会推出包括可在笔记本上运行的蒸馏小模型。
来源5
- Mistral官方 · 博客Mistral Large 4(Le Chonk)现已开放权重译自英文 · 查看原文 ·
- The Next Web媒体Mistral 发布其 1 万亿参数 Large 4 模型的开放权重译自英文 · 查看原文 ·
- Hugging Face媒体mistralai/Mistral-Large-4-1T-A52B 模型页译自英文 · 查看原文 ·
- @MistralAIX今天,我们发布全新升级版 Le Chonk 的权重,推进智能体编程和网络安全领域的开放前沿。 💻 为构建而生:Le Chonk 在 @cognition 的 FrontierCode 上位列开放模型 #1,并在 @artificialanalysis 上创下帕累托效率的新标杆。 🛡 为防御而生:在网络防御方面达到业界领先水平,经过全球领先网络安全厂商的严格测试,包括 @CrowdStrike、@cloudflare、@rubrik、@zscaler 等。 为主权而生:让它成为你自己的模型。在 @huggingface 上下载权重,用 Mistral Forge 进行定制,并部署到你需要的任何地方。 阅读我们团队和客户的更多介绍 👇:译自英文 · 查看原文 ·
- @vllm_projectX🎉 借助 @NovaSkyAI 的 SkyRL 和 @vllm_project,为 @MistralAI 的 Mistral Large 4 提供首日(Day-0)强化学习支持! 在 8 个 @nvidia GB200 节点上,对 NVFP4 checkpoint 进行 LoRA RL,75 个训练步内将 AIME 2024 avg@8 从约 64% 提升至约 75%。 vLLM 负责生成 rollout,FSDP2 或 Megatron 负责训练。译自英文 · 查看原文 ·
由 dalao.ai 撰写:标题、摘要和“为什么重要”是我们自己的文字;事实以原始报道为准,著作权归原发布者所有。