llama.cpp社区讨论

HN 热议 llama.cpp:本地推理首选、多模型路由与安装方式之争

Hacker News 用户围绕本地推理引擎 llama.cpp 及其桌面封装 llama.app 展开讨论,帖子获得 364 分和 164 条评论。

不少用户称已从 Ollama 转向 llama.cpp,认为它“直接能用”,并讨论内置路由模式能否取代 llama-swap 管理多个模型、ROCm 与 Vulkan 的速度差异,以及自研引擎仍有提速空间。也有人质疑 curl|sh 式安装的安全性,并指出 llama.app 页面未注明与 ggml 官方的关系,容易让人误解。

要点

  • 多名用户称已从 Ollama 换用 llama.cpp。
  • llama-server 已支持多模型和路由模式。
  • 有人认为 llama-swap 在多模型场景仍有优势。
  • curl|sh 安装方式的安全性引发争论。
  • 有人质疑 llama.app 未注明来源归属。

原文:llama.cpp

It's great software. It just works.

阅读原始讨论

收录于 。摘自 Hacker News 讨论的简短节选,著作权归原发布者所有。

查看全部