llama.cpp社区讨论
HN 热议 llama.cpp:本地推理首选、多模型路由与安装方式之争
Hacker News 用户围绕本地推理引擎 llama.cpp 及其桌面封装 llama.app 展开讨论,帖子获得 364 分和 164 条评论。
不少用户称已从 Ollama 转向 llama.cpp,认为它“直接能用”,并讨论内置路由模式能否取代 llama-swap 管理多个模型、ROCm 与 Vulkan 的速度差异,以及自研引擎仍有提速空间。也有人质疑 curl|sh 式安装的安全性,并指出 llama.app 页面未注明与 ggml 官方的关系,容易让人误解。
要点
- 多名用户称已从 Ollama 换用 llama.cpp。
- llama-server 已支持多模型和路由模式。
- 有人认为 llama-swap 在多模型场景仍有优势。
- curl|sh 安装方式的安全性引发争论。
- 有人质疑 llama.app 未注明来源归属。
原文:llama.cpp
It's great software. It just works.
收录于 。摘自 Hacker News 讨论的简短节选,著作权归原发布者所有。