Ollama来自创作者

Ollama 0.35 支持 Jev 风格决策模型,可在本地快速做结构化判断

Ollama 从 0.35 版起支持基于 TypeSafe Jev API 的决策模型,通过新的 /v1/systemone 端点,把文本状态和一组命名问题一次性交给本地模型作答。

首批上线 3 款决策模型:Bespoke Labs 的开源 9B 模型 nimble,以及 Together AI 的实验性 4B 和 0.8B 模型 tev1。Ollama 称,nimble 在 M5 Max 上本地运行吃豆人示例时平均每次决策 91 毫秒。

要点

  • 适用于工单分流、模型路由和内容安全审核等场景。
  • 问题类型有选择、是非和打分,返回概率与置信度。
  • 可用 curl 或 TypeSafe 官方 Python SDK 调用。
  • 后续将加入 MLX 加速和更多决策模型。

原文:Ollama now supports Jev-style decision models

Decision models on Ollama are fast, as requests don’t have to travel over a network. Nimble 9B averaged 91ms per decision in the Pac-Man example below when running locally on an M5 Max.

阅读原文

收录于 。摘自官方博客的简短节选,著作权归原发布者所有。

查看全部