如果你用过 AI 编程助手修 bug，应该见过这样的场面：动手之前，它要先读几万行代码、日志和报错。前面读到的东西它还记不记得，决定了这个 bug 能不能修好。Mistral 在 2026 年 11 月 3 日公开了 Mistral Large 4 的技术报告，全文 30 页，放在 Hugging Face 的模型仓库和论文网站 alphaXiv 上。报告里记下了一段弯路：为了让模型跑起来便宜，他们一开始把这部分“记忆”砍得很狠，后来发现模型偏偏在这类长任务上变差了，只能对练到一半的模型动手术。
先交代一下时间线。Mistral 在 10 月 6 日发博客推出了 Large 4 的公开预览版，10 月 29 日又发博客放出了权重。权重就是模型本身的参数文件，放出后任何人都能下载。模型总共约 1T 个参数（B 指十亿，T 指万亿），处理每个词时只调用其中 52B；按模型卡的说法，不算输入层和输出层是 49B。它一次最多能读 1M 个 token（M 指百万，token 是模型读写文字的基本单位，大致相当于一个词或一个字）。下面讲的结构细节都来自技术报告，以及模型仓库里那份配置文件。
模型的“记忆”是什么，为什么贵
模型生成每个词时，都会回头看一遍前文，判断哪些内容和当下最相关，这个机制叫注意力。为了不每次都从头重读，模型读文本时会在每一层给每个词记一条笔记，之后直接翻笔记就行，这些笔记叫 KV 缓存。笔记存在显卡内存里，文本越长，笔记越多。一张卡能同时服务多少人、每次调用收多少钱，很大程度上取决于笔记能压到多小。
Mistral 起初叠了 3 种省笔记的办法。第一种叫滑动窗口：每 4 层里有 3 层不看全文，只看最近的 512 个 token，所以只需要记这么多。第二种是跨层共用，指一层不记自己的笔记，直接拿别的层的来用：看全文的那些层里，每隔一层就借用上一层的笔记。第三种叫 YOCO，名字是“只缓存一次”的英文缩写：网络后半段那些看全文的层干脆都不记笔记，统一去读前半段末尾那一层留下的。3 招叠在一起，笔记量只有常规做法（每层都看全文、各记各的，即全注意力）的 1/16。报告说，早期的对比实验显示，这样做对困惑度和常见测试的影响要么可以忽略，要么小到为了省钱可以接受。困惑度是衡量模型猜下一个词猜得准不准的常用指标，数值越低越好。
猜词一样准，修 bug 的本事却变了
问题是在预训练进行中暴露的。预训练就是让模型读海量文本，学会猜下一个词。他们从训练中途存下的版本里取了几个，用示范答案再训一小会儿，发现知识类测试和困惑度都正常，可那些要读很长上下文、自己多步操作完成任务的智能体测试，成绩明显不如预期。报告点名的是 SWE-bench 和 BrowseComp：前者让模型去修真实开源项目里的 bug，后者考模型能不能上网找到很难找的信息。他们把原因拆开来看。在同样的训练量下，把全注意力换成滑动窗口，SWE-bench Verified（SWE-bench 里经人工核对过题目的那一部分）的分数就往下掉；再加上跨层共用，又掉一截。
报告从这里得出的结论是全文最有分量的一句：猜词一样准的 2 个模型，在智能体任务上的表现可以差很多；在知识类测试上，他们没有看到同样的差距。对照实验还显示，训练得更久可以缩小这个差距。为什么会这样，报告没有给出解释，只给了测量结果。但这件事本身已经够要紧了。业内评估一种省内存的新结构，最常用的快速检查就是看困惑度变没变。按 Mistral 自己的数据，这道检查恰恰漏掉了他们最在意的能力。
拆了大半，留下一处共用
他们没有从头重训，而是拿第一阶段预训练结束时的版本直接改结构，然后把原定的第二阶段跑了约 2/3，再进入中期训练。中期训练是预训练之后、针对具体技能专门训练之前的那一段。去掉滑动窗口很简单，让那些层看全文就行。拆掉笔记共用要麻烦得多：原来借笔记的层得自己记了，所以他们从离它最近、自己记笔记的那一层把相应的参数复制过来当起点。为了让这些原本只看近处的层学会往远处看，他们还给模型加了 2 处调整，让它自己学会怎样分辨词的前后位置、每一路注意力该放得多集中。改造后，他们用 32,000 个 token 长的样本测了注意力落在哪里：改造过的层大约把 55% 的注意力放在 512 个 token 以外的内容上，天生看全文的层是 67%。报告的解读是，旧习惯没有完全消掉，但这些层确实学会了需要时往远处看。
报告这一章的标题叫「为什么 ML4（几乎）是一个全注意力模型」，关键就在“几乎”这个词上。较小规模的试验里，连 YOCO 一起拆掉也能恢复，只是刚拆完时训练更不稳。最终模型没法把第二阶段从头再跑一遍，他们就在更大的规模上做了一次保守测试，只做手术和中期训练，结果保留 YOCO 的版本表现更好。所以发布的模型里仍然有层在共用记忆。配置文件写得很清楚：72 层里，有 9 层（从 0 开始数是第 39、43、47 层，每隔 4 层一个，一直到第 71 层）不存自己的笔记，统一读第 35 层的那份；其余 63 层各存各的。这些笔记也不是原样存的。每层只存一份压缩过的精简版，用到时再还原，这种做法叫 MLA，配置里这份精简版的维度是 512。发布版的笔记总量比全注意力少多少，报告没有给出数字，我们也查不到。
挑着看，省的是计算，不是笔记
笔记基本恢复了，可在 1M 个 token 的上下文里，每生成一个词都要和所有笔记比对一遍，计算量也很吓人。Mistral 的办法是借用 DeepSeek 提出的稀疏注意力，意思是每一步只挑一小部分笔记细看：一个轻量的小模块先替当前这个词从全部笔记里挑出最相关的 2,048 条，主模型只看这 2,048 条。训练分 2 步：先固定主模型不动，用约 15.1B 个 token 让小模块学着模仿主模型平时把注意力放在哪；再让两者一起在挑着看的模式下训练约 198B 个 token。他们还发现，原本是滑动窗口的几层挑出来的内容很像，所以从第 16 层往后，相邻的这几层共用一个挑选模块，配置里一共 28 层是共用的。
这里很容易误读。报告说用这套方法是为了降低读长文本时的计算成本，它不减少要存的笔记。每生成一个新词，要挑哪 2,048 条都不一样，所以全部笔记还得留着。说 Large 4 “不再压缩记忆”是不对的；准确的说法是，它把大部分压缩拆掉了，保留了后半段的一部分共用和 MLA 那份精简版，再靠挑着看减少每一步的计算量。
存储的压力交给了运行模型的系统。报告说，他们把笔记切开分到多张显卡上，而不是每张卡各存一份；笔记本身用 8 位的 FP8 格式存，放不下的再挪到别处，这样在 4 张英伟达 GB300 上能腾出大约 20M 个 token 的笔记空间，由同时在跑的所有请求分着用。模型本身也做了瘦身：负责不同专长的那部分参数换成英伟达的 4 位格式 NVFP4 存储，每个数占的空间更小，其余部分保持训练时的精度，整个模型文件 606 GB，刚好放进这 4 张卡。按报告的说法，这个瘦身版在所有测试上都和 FP8 版不相上下，它的权重也已经单独发布。
跑分是 Mistral 自己报的，而且并非处处领先
下面的数字都出自 Mistral 自己的报告，属于自报成绩。报告的表格里，标了 AA 的项目是第三方评测机构 Artificial Analysis 的评测，标了 internal 的是 Mistral 内部跑的；Artificial Analysis 网站上的对应数字，我们没有逐项核对。在 AI 编程公司 Cognition 出的编程测试 FrontierCode 2.0 上，Large 4 是 19.7%，DeepSeek V4.1 Flash 是 19.3%，GLM-5.3 是 17.8%；在考模型用命令行完成任务的 Terminal-Bench 4.0 上，它是 41%，GLM-5.3 是 40.0%，差距都很小。也有不占优的项目：考长周期原创工程任务的 DeepSWE 1.1 上，它是 65.2%，DeepSeek V4.1 Flash 是 74.2%；Artificial Analysis 的网络安全指数上，它是 50.9%，DeepSeek V4.1 Flash 是 56.8%；由专家级学术难题组成的 HLE-Diamond 上，它是 17.3%，在表里有数据的模型中最低。
分数也一直在变。10 月 6 日的预览版博客写的 Terminal-Bench 4.0 是 28.3%，10 月 29 日放权重的博客说，又做了 3 周强化学习（让模型反复尝试、按结果好坏来改进），这项提高了 13 个百分点，到了 41%。所以看到 Large 4 的数字时，你要先分清楚，它说的是预览版还是开源版。另一家评测机构 Vals AI 在 2026 年 10 月 29 日更新的 Terminal-Bench 4.0 排行榜上，给放出权重的 Large 4 记的是 26.26%，低于 Mistral 报告里引用 Artificial Analysis 评测得到的 41%。两边让模型动手干活的配套程序不同：Vals 用的是只让模型敲命令行的极简通用程序 mini-swe-agent，Artificial Analysis 网站上标注的 Large 4 成绩则是在 Mistral 自家的编程工具 Mistral Vibe 里跑的，所以两个数不能直接比。
挑模型，别只看省了多少内存
如果你在给智能体类的工作挑模型，这份报告最实用的一课是：“KV 缓存缩小了多少倍”“困惑度几乎没变”这类说法，回答不了模型能不能干好长任务。Mistral 自己的数据显示，这两件事可以对不上。挑模型时，用你自己的长任务去测，别只看结构上省了多少。如果你打算自己部署，NVFP4 版在 4 张 GB300 上就能跑。不过许可证是 Mistral 改过的 MIT 许可，商用和非商用都可以，但要是想把它包装成 API 卖给别人用，得另外找 Mistral 签商业许可。
报告结尾说，这次经历促使他们去研究其他几类更省的注意力结构，整个训练过程都拿智能体测试来指导设计，成果会在之后的版本里公布。Mistral 的下一个模型多半还会想办法省记忆。到时候你可以先看它在长任务上的分数，再看它省了多少。