PageIndex版本更新

PageIndex v0.5.1:大 PDF 解析占内存大幅下降

PageIndex 按文档目录树做检索问答,不必自建向量库。v0.5.1 让默认的 Flash 解析在 CPU 较少或遇到 Type-3 字体时改为一次只保留一页,按说明一本 1665 页教材峰值内存约从 3.1 GB 降到 434 MB,目录树不变。

字体 ToUnicode 映射里若有多余括号或花括号,以前会把解析卡死到内存耗尽,现在这类 PDF 也能正常建索引。

要点

  • Flash 改为逐页载入,大 PDF 更省内存
  • 1665 页教材峰值约降至 434 MB
  • 损坏字体映射不再拖死解析

原文:PageIndex · v0.5.1

Flash's parser now holds one page at a time instead of the whole document: a 1,665-page textbook peaks at 434 MB instead of 3.1 GB. The tree is unchanged.

阅读原文

收录于 。摘自 GitHub 版本发布的简短节选,著作权归原发布者所有。

查看全部