Ollama

几分钟就把本地模型跑起来开源

Ollama 是一个把开源大模型装到自己电脑上运行的工具。一条命令就能下载并运行模型，同时在本机 11434 端口提供 REST 接口，还兼容 OpenAI 和 Anthropic 的接口格式，所以多数对话客户端和编程智能体都能直接接上。代码是 MIT 许可，用 Go 写成，底层推理用 llama.cpp，Apple Silicon 上默认用 MLX。2025-09 起以预览形式推出云模型服务，2026-08-31 起改为按 token 计费；2026-07-09 宣布融资 8,800 万美元。截至 2026-10-25，GitHub 星标 184,664，最新正式版是 v0.40.11（2026-10-24）。

编辑部更新于 2026 年 10 月 25 日阅读约 10 分钟

它解决什么问题

开源模型的权重可以免费下载，真正难的是把它跑起来：选哪个量化版本，用什么推理引擎，显卡驱动怎么配，模板和停止符怎么写，跑起来以后怎么给别的程序调用。两位创始人在 2026-07-09 的融资博文里也是这么描述起点的：模型可以随便下载，却很难用起来，开发者没法像调用闭源模型 API 那样方便地用它们。

Ollama 的回答是把模型当成软件包来管理。ollama pull 下载，ollama run 运行，ollama ls 列出本地模型，ollama rm 删除。模型统一存放在本地，按需加载到显存，空闲后释放。运行后它在本机常驻一个服务，默认只绑定 127.0.0.1 的 11434 端口（官方 FAQ），其他程序通过 HTTP 接口和它对话。README 里第一个例子是 ollama run gemma4，第二个是用 curl 调用 /api/chat。

接口方面，官方文档列出的 OpenAI 兼容端点有 /v1/chat/completions、/v1/completions、/v1/models、/v1/embeddings、/v1/responses（不支持有状态的 Responses）和 /v1/audio/speech。2026 年 1 月发布的 v0.14.0（2026-01-10）起，它也兼容 Anthropic Messages 接口（/v1/messages），所以 Claude Code 这类工具可以接本地或云端的开源模型。v0.40.9 的发布说明还专门修了 OpenAI Responses 和 Anthropic Messages 两类流式请求在生成失败时只输出一部分就静默结束的问题。

推理引擎这两年换了不止一次。README 写明支持的后端是 Georgi Gerganov 创建的 llama.cpp。2026-06-05 的 0.30 版本加强了 GGUF 兼容，默认开启 Vulkan，让 AMD 和 Intel 显卡也能开箱用 GPU 加速。Apple Silicon 这边，2026-03-30 预览了基于苹果 MLX 框架的引擎，v0.40.0（2026-09-25）起，MLX 支持的模型架构默认走 MLX。v0.40.2 的发布说明提醒，旧版本下载的模型第一次运行时会在后台升级以适配 llama.cpp 运行器，原文件留作备份，暂时会多占一份磁盘空间。

仓库情况（2026-10-25）：创建于 2023-06-27，主要语言 Go，MIT 许可，星标 184,664，分支 18,546，未关闭的 issue 和 PR 合计 4,410。GitHub 上共有 269 个 Release，其中 4 个标为预发布（最近一个是 2026-08-13 的 v0.32.10），其余都是正式版。

Start building with open models. Access the latest releases locally or in the cloud with complete privacy.
Ollama README

核心能力

第一是模型库和一行命令。ollama.com/library 上的模型可以直接按名字拉取，同一个模型有不同参数量和量化版本可选。也能用 Modelfile 导入 Hugging Face 上的 GGUF 文件：0.30 的博文给出的做法是写一行 FROM 指向本地 GGUF 路径，再用 ollama create 生成模型。如果原模型支持工具调用，这个能力会保留下来，可以用 ollama show 检查。

第二是多后端加速。0.30（2026-06-05）在 NVIDIA 显卡上提速，官方称最多快 20%。这是官方自测，测试条件是 RTX 5090 上运行 Q4_K_M 量化的 Gemma 4 26B。同一版本默认开启 Vulkan，覆盖 AMD 和 Intel 显卡。MLX 引擎的预览博文（2026-03-30）也给了官方自测数据：Qwen3.5-35B-A3B 用 NVFP4 量化，0.19 版的预填充速度是每秒 1810 token，0.18 版是 1154；生成速度从每秒 58 token 提到 112。测试日期 2026-03-29，对比对象是 0.18 的 Q4_K_M 量化。

第三是本地和云端用同一套接口。2025-09-19 起（v0.12），云模型以预览形式上线，用法和本地模型一样，可以 run、pull、cp，只是推理在 ollama.com 上执行，需要登录。定价页写明，云上的提示词和回复不会被记录，也不会用于训练；模型主要托管在美国，必要时会路由到欧洲；合作的托管方是 NVIDIA 云服务商，Ollama 要求它们不记录、不训练、零数据留存。这些都是官方声明。

第四是编程工具一键接入。ollama launch 在 2026-01-23 推出（需要 v0.15 以上），可以直接配置并启动 Claude Code、OpenCode、Codex、Droid 等工具，不用手动改环境变量。官方文档给编程工具的上下文长度下限是 64000 token，而 FAQ 写明默认上下文窗口是 4096 token。

第五是新增的模型能力。v0.40.11 于 2026-10-24 08:30 (UTC+8) 发布，在 macOS 上加入语音生成，ollama run 能把文本或模型回复边生成边朗读，也可以通过 /v1/audio/speech 流式获取音频，并上线了用于分类、是非判断和打分的 d3 决策模型。之前几个版本陆续上线了 NVIDIA Nemotron 3.5、Recursive 的 Flint 编程模型等。

和同类比

和 llama.cpp 比：llama.cpp（MIT 许可，2026-10-25 星标 132,256）是 Ollama 的底层后端之一，README 写明了这一点。llama.cpp 给的是推理引擎和命令行、服务端工具，参数直接暴露。Ollama 在它之上加了模型库、下载缓存、常驻服务、模板管理和兼容接口；新特性要等 Ollama 跟进，部分参数也不直接暴露。

和 vLLM 比：vLLM（Apache-2.0，星标 95,347）是面向数据中心的推理服务框架，重点是多 GPU、高并发下的吞吐量。Ollama 的默认场景是一台个人电脑、一个用户。

和 LM Studio 比：LM Studio 由 Element Labs 开发，桌面应用受该公司的服务条款约束（2026-08-23 版），条款授予的是非独占、不可转让的使用许可，而不是开源许可证。它同样用 llama.cpp 和 MLX 在本地跑模型。LM Studio 定价页（截至 2026-10-25）显示 Free 0 美元可以本地运行模型，Bionic+ 每月 20 美元、Pro 每月 100 美元提供美国托管的开源模型云推理；Ollama 也是本地免费，云端 Pro 每月 20 美元、Max 每月 100 美元。LM Studio 以图形界面和自家智能体 Bionic 为中心，Ollama 以命令行和 API 为中心，代码完全开源。

和直接调用闭源模型 API 比：本地跑开源模型没有按 token 计费，数据也不离开本机，但能力受限于自己的硬件，大模型需要大显存。Ollama 的云服务把放不进个人电脑的大模型放到服务器上，按 token 收费。

谁在用，适合谁

用户规模。官方 2026-07-09 的融资博文称 Ollama 服务 890 万开发者，被 85% 的财富 500 强公司使用，云服务的 token 用量平均每月翻一倍以上。这些都是官方自述。公开数据有两项。一是 README 的社区集成列表中，Open WebUI、LibreChat、Lobe Chat、Dify、AnythingLLM、Cherry Studio 等都把 Ollama 当作本地模型来源。二是 Python 客户端库 ollama 的下载量：截至 2026-10-25 09:49 (UTC+8)，pypistats 显示近一个月 13,275,724 次、近一周 2,786,399 次，按 UTC 统计，数据到 2026-10-24 为止。

贡献者方面，GitHub API（2026-10-25）统计有 446 个关联账号的贡献者。最近的发布说明里常见 jmorganca、dhiltgen、hoyyeva、jberg5、drifkin 等人。

适合谁

适合在自己的 Mac、Windows 或 Linux 电脑上试开源模型的开发者，这是门槛最低的选择之一，装好以后一条命令就能聊。也适合给自家应用接本地模型的团队：接口兼容 OpenAI，换一个 base_url 就能把云端调用切到本地，对数据外传敏感的场景用得上。还适合用 Claude Code、Codex、OpenCode 等编程智能体、同时改用开源模型的人，ollama launch 能一键完成配置。在本地和云端之间切换的人也适合：同一套命令和接口，小模型本地跑，大模型交给 Ollama 的云。

不适合谁

不适合在多卡服务器上做高并发生产推理的团队，这类场景更适合 vLLM 这类面向吞吐量设计的推理服务。不适合需要精细控制每个推理参数、追最新量化格式的人，llama.cpp 直接暴露这些控制项，Ollama 的封装反而是一层阻隔。也不适合需要多用户鉴权、把 Ollama 直接暴露在网上的场景：它本身没有认证机制，安全公告里多次出现 /api/create、/api/push 等接口未认证的问题。

上手路径

第一步，安装。按 README，macOS 和 Linux 用 curl -fsSL https://ollama.com/install.sh | sh，Windows 用 PowerShell 执行 irm https://ollama.com/install.ps1 | iex，也可以下载安装包。服务器上可以用 Docker Hub 的官方镜像 ollama/ollama。

第二步，运行模型。在终端输入 ollama，会提示选择运行一个模型，或者把 Ollama 接到 Claude Code、Codex、OpenClaw 等已有工具。直接聊天用 ollama run gemma4。模型名可以在 ollama.com/library 查。

第三步，接入程序。服务默认监听 localhost:11434。原生接口是 /api/chat、/api/generate 等；已有的 OpenAI 客户端把 base_url 改成 http://localhost:11434/v1/ 即可。官方提供 Python 库（pip install ollama）和 JavaScript 库（npm i ollama）。

第四步，按场景调参数。编程和长文档需要比默认值更长的上下文，FAQ 说默认是 4096 token，可以用环境变量 OLLAMA_CONTEXT_LENGTH 或应用设置修改。K/V 缓存量化能降低显存占用，FAQ 说 q8_0 的精度损失很小，q4_0 则是小到中等，上下文越长越明显。OLLAMA_HOST=0.0.0.0:11434 会让局域网其他机器访问服务，同时也会把没有认证的接口暴露出去。

第五步，云服务。更大的模型在 Ollama 的云上运行，截至 2026-10-31，定价页的 0 美元档是 Pay as you go，不送起步额度，云端模型按 token 付费，最多并发 3 个请求。

定价与许可证

代码是 MIT 许可，版权方写的是「Ollama」，可以商用和二次分发。在自己的硬件上运行模型不收费，定价页写明「始终不限量」。云服务按套餐收费（截至 2026-10-31）：Pay as you go 0 美元，无订阅、无服务费，云端模型按 token 付费，并发 3 个请求；Pro 每月 20 美元（按年付 200 美元），每月含 60 美元用量，并发 3 个；Max 每月 100 美元，含 300 美元用量，并发 10 个；Team 处于早期访问阶段，每月 500 美元，不限人数，团队共享 1,000 美元月用量；Enterprise 价格面议。各模型按每百万 token 计价，定价页写明工作日高峰以外的时段和周末全天有低峰价（按 UTC 计）；换算后，高峰时段是周一至周五每天 20:00–02:00 (UTC+8)，跨到次日凌晨。这套按 token 计费的方案在 2026-08-31 推出，取代了旧套餐的 5 小时和每周用量限制；老用户不改动订阅就可以保留旧方案。模型本身的许可证各不相同，与 Ollama 的代码许可分开。

风险与局限

安全记录如下。ollama/ollama 仓库自己没有发布过 GitHub 安全公告（截至 2026-10-25，GitHub API 返回 0 条），但 GitHub Advisory Database 包含 16 条影响 Ollama 的已审核公告。最近三条如下。

CVE-2026-7482（GHSA-x8qc-fggm-mpqg，2026-05-04 加入）：GitHub 标为 high，同一页给出的 CVSS 3.1 分数是 9.1，CVSS 4.0 分数是 8.8。公告正文说，0.17.1 之前的版本在 GGUF 模型加载器中存在堆越界读：/api/create 接受攻击者提供的 GGUF 文件，文件声明的张量偏移和大小超过实际长度，量化时服务端会读到堆缓冲区之外。泄露的内存可能包含环境变量、API 密钥、系统提示词和其他用户的对话，还能通过 /api/push 上传到攻击者控制的仓库。公告还指出，上游发行版的 /api/create 和 /api/push 没有认证，默认只绑定 127.0.0.1，但文档里的 OLLAMA_HOST=0.0.0.0 配置在实际中很常见，公网暴露量很大。NVD 页面（状态 Analyzed）只列出 CNA 提交的分数，CVSS 3.1 为 9.1（CRITICAL），CVSS 4.0 为 8.8（HIGH），NVD 自己没有另行评分。修复版本是 0.17.1。

CVE-2025-63389（GHSA-f6mr-38g8-39rg，2025-12-19 加入）：GitHub 标为 critical，没有 CVSS 3.1 分数，CVSS 4.0 分数是 9.3。公告正文说，Ollama 平台 v0.12.3 及以前版本的多个 API 端点不需要认证，远程攻击者可以执行未授权的模型管理操作。GitHub 列出的受影响范围是 0.13.5 及以前，没有标注修复版本。NVD 页面只有 CISA-ADP 提供的 CVSS 3.1 分数 9.8（CRITICAL），NVD 没有另行评分。

CVE-2026-7020（GHSA-x99g-8v8j-25j2，2026-04-26 加入）：GitHub 标为 low，但同一页的 CVSS 3.1 分数是 5.6，CVSS 4.0 是 2.9。公告正文说，0.20.2 及以前版本中，x/imagegen/transfer/transfer.go 的 digestToPath 函数存在路径穿越，可以远程发起，但攻击复杂度高、利用困难；利用代码已经公开；公告还写道，报告方很早就联系了厂商，但没有得到任何回应。NVD 页面列出的是 CNA（VulDB）的分数：CVSS 3.1 为 3.7（LOW），CVSS 4.0 为 2.9，CVSS 2.0 为 2.6，NVD 没有另行评分。GitHub 没有标注修复版本。

Ollama 的接口默认没有认证，安全边界靠「只监听本机」。一旦为了局域网共享改成 0.0.0.0，Ollama 本身不提供认证，认证和网络隔离只能另行配置。其他局限还有：默认上下文为 4096 token；版本发布频繁，生产环境不锁定版本就会跟着变；v0.40.2 起旧模型会在后台升级并保留备份，会暂时多占磁盘。用户数和财富 500 强覆盖率均为官方自述。

我们的判断

Ollama 的特点是：一条命令下载并运行开源模型，接口兼容 OpenAI 和 Anthropic，README 社区集成列表中的 Open WebUI、LibreChat、Dify 等客户端都把它当作本地模型来源；本地部分免费、MIT 开源，云端按 token 计费，2026-07-09 宣布融资 8,800 万美元。

它的限制：接口本身没有认证，暴露到网络上需要另行配置认证和隔离，并及时升级；默认上下文为 4096 token；用户数和财富 500 强覆盖率为官方自述。

亮点

Ollama 给本地模型带来了包管理器和一行命令的安装方式。`ollama run` 之于模型权重，就像 `docker run` 之于容器：下载、缓存、运行，并在本机提供一个干净的 API。

Jeffrey Morgan 和 Michael Chiang 来自 Docker，这种影响是有意为之的。Modelfile、模型仓库、在 Mac 上开箱即用的后台服务，以及如今每个编辑器和对话客户端都支持的 HTTP 接口。

一条命令就能下载、缓存并运行模型，并在本机提供编辑器和聊天客户端都在用的 HTTP API。

资料来源

官方

动态与深度阅读

版本更新GitHub 版本发布

Ollama · v0.40.13

2026 年 10 月 29 日

版本更新GitHub 版本发布

Ollama · v0.40.12

2026 年 10 月 27 日

资讯X2026 年 10 月 27 日

Cline Desktop v0.0.49 支持通过 Ollama 或 LM Studio 安装和管理本地模型

版本更新GitHub 版本发布 · Ollama v0.40.11：macOS 支持语音生成，新增 d3 决策模型

Ollama v0.40.11 在 macOS 上支持语音生成，ollama run 可以边生成边朗读文本或聊天模型的回复，应用也能通过兼容 OpenAI 的 /v1/audio/speech 接口流式获取音频。新增的 d3 是来自 vLLM Semantic Router 的决策模型系列，可以对文本、结构化状态或图片做分类、是非判断，或按概率给选项打分，提供 2B、4B、9B 和 27B 四种规模。

2026 年 10 月 24 日

创作者文章2026 年 10 月 24 日

Ollama 支持文本转语音，首个模型为 Gradium 的 Phonon

Ollama 新增文本转语音能力，首个语音模型是 Gradium 的小型 TTS 模型系列 Phonon，目前支持 macOS，Windows 和 Linux 即将支持。在 Apple Silicon 上，Ollama 借助 MLX 加速，称在 M5 Max 版 MacBook Pro 上比 Gradium 自家运行时快 35%，词错误率与参考实现持平。Phonon 支持英、法、德、西、葡五种语言和多种音色，兼容 OpenAI 的语音接口；主模型采用 Apache 2.0 许可，40M 小模型限非商业使用。