PageIndex来自创作者
PageIndex 开源 OpenKB:落地 Karpathy 的 LLM 知识库构想
受 Andrej Karpathy 提出的“LLM 知识库”工作流启发,PageIndex 开源了命令行工具 OpenKB:把原始文件放进目录,由大模型编译成相互链接的 Markdown 维基,可查询、做健康检查,也能在 Obsidian 中打开。
Karpathy 曾指出长书和 PDF 是难点,OpenKB 对超过阈值(默认 20 页)的长 PDF 用 PageIndex 树索引处理,模型读树而非全文。它借助微软的 markitdown 支持 PDF、Word、PPT、Excel 等多种格式,并可监听新文件自动更新。
要点
- OpenKB 开源,基于命令行。
- 大模型将文件编译成互链 Markdown 维基。
- 超过 20 页的 PDF 走树索引。
- 借助 markitdown 支持多种格式。
- 可在 Obsidian 中浏览。
原文:OpenKB: An Open-Source LLM Knowledge Base
Drop raw files into a directory; an LLM compiles them into a structured, interlinked wiki of Markdown files.
收录于 。摘自官方博客的简短节选,著作权归原发布者所有。