Ollama来自创作者

Ollama 公布 NVIDIA DGX Spark 上的模型性能测试

Ollama 使用 DGX Spark 发布日固件 580.95.05 和 Ollama v0.12.6,测试了多款模型在 NVIDIA DGX Spark 上的性能,并公开了测试脚本。

每项测试运行 10 次,温度为 0,输出限制 500 token 并关闭缓存,覆盖 gpt-oss、gemma3、llama3.1、deepseek-r1 和 qwen3 等模型。Ollama 还指出,GB10 Grace Blackwell 超级芯片提供的 120GB 显存可容纳完整的 gpt-oss-120b 模型。

要点

  • 测试提示词取自《双城记》前 200 行。
  • Ollama 上的 gpt-oss 注意力层保持 BF16。
  • 部分网上标为 MXFP4 的 GGUF 注意力层被量化为 q8_0。
  • 固件低于 580.95.05 时建议用 DGX Dashboard 更新。

原文:NVIDIA DGX Spark performance

The test script and its readme are made available and can be customized for your own testing.

阅读原文

收录于 。摘自官方博客的简短节选,著作权归原发布者所有。

查看全部