Hindsight版本更新

Hindsight v0.10.0:分词器换成 quicktok,支持纯向量召回

Hindsight v0.10.0 用 quicktok 替代 tiktoken,默认编码为 o200k_base。每个 bank 可开关 enable_text_search,用于纯向量召回;文档迁移时也会导出知识库。

文档的分块嵌入改为批量请求,不再逐块请求。Helm chart 增加 extraContainers、extraInitContainers 和 Prometheus ServiceMonitor 支持,遇到 429 时会遵循 OpenAI 的 x-ratelimit-reset 头。

要点

  • 分词器改用 quicktok。
  • 可按 bank 关闭文本搜索做纯向量召回。
  • 文档迁移导出知识库。
  • 分块嵌入改为批量请求。
  • Helm 支持 Prometheus ServiceMonitor。

阅读原文

收录于 。摘自 GitHub 版本发布的简短节选,著作权归原发布者所有。

查看全部