AnythingLLM版本更新

AnythingLLM v1.19.0:Docker 版内置本地 LLM

AnythingLLM v1.19.0 的 Docker 版可运行内置本地 LLM,引擎是 AMD 开源的 Lemonade 推理服务器,底层用 llama.cpp,不再需要另外运行 Ollama 或 LM Studio。它会自动选择 CUDA、Vulkan 或 CPU 后端,支持 amd64 和 arm64,默认关闭,需用 ENABLE_BUILT_IN_LLM=true 开启。

界面加入可整体着色的配色方案。此版本还限制了请求体大小,防止未认证的 embed 拒绝服务攻击。

要点

  • Docker 版可运行内置本地 LLM。
  • 自动选择 CUDA、Vulkan 或 CPU。
  • 默认关闭,需环境变量开启。
  • 界面加入配色方案。
  • 限制请求体大小防 DoS。

阅读原文

收录于 。摘自 GitHub 版本发布的简短节选,著作权归原发布者所有。

查看全部