Ollama来自创作者
Ollama 推出新的模型调度系统，按实测内存需求分配显存
Ollama 推出大幅改进的模型调度系统，新引擎在运行模型前会精确测量所需内存，而不是像旧版那样估算。
在单张 RTX 4090 上以 128k 上下文运行 gemma3:12b 时，生成速度从每秒 52.02 token 提升到 85.54 token，GPU 加载层数从 48 层增至全部 49 层。在两张 RTX 4090 上运行 mistral-small3.2 时，提示处理速度从每秒 127.84 token 提升到 1380.24 token。
要点
- 内存精确管理，减少内存不足导致的崩溃。
- 多 GPU 及不同型号 GPU 混用时调度更高效。
- nvidia-smi 的读数将与 ollama ps 一致。
- 新引擎中的模型默认启用，包括 gpt-oss 和 gemma3。
原文：New model scheduling
Ahead of running a model, Ollama’s new engine will now measure the exact amount of memory required compared to an estimation in previous versions of Ollama.
收录于 。摘自官方博客的简短节选，著作权归原发布者所有。