Mistral AI 公开 Mistral Large 4 技术报告：处理长任务时少压缩模型的“记忆”，改成只挑最相关的内容看
为在长任务上省成本，模型常压缩自己对前文的“记忆”。Mistral AI 发现，Mistral Large 4 的早期版本把这份记忆压到 1/16 后，知识类测试正常，智能体任务却变差。正式版让更多层重新拿到完整记忆，再用稀疏注意力只看最相关的部分。模型共 1T 参数，每个词只动用其中 52B 参数；低精度版 606 GB，可在 4 块 GB300 GPU 上运行。局限：仍有部分层共用记忆。
为什么重要
给做长任务智能体的团队提个醒：省内存的改动可能在常规评测里看不出问题，却会拖累真正要做的任务，选模型设计要拿目标任务来测。
来源1
由 dalao.ai 撰写：标题、摘要和“为什么重要”是我们自己的文字；事实以原始报道为准，著作权归原发布者所有。