PageIndex来自创作者

PageIndex 开源 OpenKB:落地 Karpathy 的 LLM 知识库构想

受 Andrej Karpathy 提出的“LLM 知识库”工作流启发,PageIndex 开源了命令行工具 OpenKB:把原始文件放进目录,由大模型编译成相互链接的 Markdown 维基,可查询、做健康检查,也能在 Obsidian 中打开。

Karpathy 曾指出长书和 PDF 是难点,OpenKB 对超过阈值(默认 20 页)的长 PDF 用 PageIndex 树索引处理,模型读树而非全文。它借助微软的 markitdown 支持 PDF、Word、PPT、Excel 等多种格式,并可监听新文件自动更新。

要点

  • OpenKB 开源,基于命令行。
  • 大模型将文件编译成互链 Markdown 维基。
  • 超过 20 页的 PDF 走树索引。
  • 借助 markitdown 支持多种格式。
  • 可在 Obsidian 中浏览。

原文:OpenKB: An Open-Source LLM Knowledge Base

Drop raw files into a directory; an LLM compiles them into a structured, interlinked wiki of Markdown files.

阅读原文

收录于 。摘自官方博客的简短节选,著作权归原发布者所有。

查看全部