Ollama来自创作者
Ollama 0.35 支持 Jev 风格决策模型,可在本地快速做结构化判断
Ollama 从 0.35 版起支持基于 TypeSafe Jev API 的决策模型,通过新的 /v1/systemone 端点,把文本状态和一组命名问题一次性交给本地模型作答。
首批上线 3 款决策模型:Bespoke Labs 的开源 9B 模型 nimble,以及 Together AI 的实验性 4B 和 0.8B 模型 tev1。Ollama 称,nimble 在 M5 Max 上本地运行吃豆人示例时平均每次决策 91 毫秒。
要点
- 适用于工单分流、模型路由和内容安全审核等场景。
- 问题类型有选择、是非和打分,返回概率与置信度。
- 可用 curl 或 TypeSafe 官方 Python SDK 调用。
- 后续将加入 MLX 加速和更多决策模型。
原文:Ollama now supports Jev-style decision models
Decision models on Ollama are fast, as requests don’t have to travel over a network. Nimble 9B averaged 91ms per decision in the Pac-Man example below when running locally on an M5 Max.
收录于 。摘自官方博客的简短节选,著作权归原发布者所有。