PageIndex来自创作者
PageIndex：长文档问答还需要 OCR 吗
PageIndex 撰文讨论视觉语言模型兴起后 OCR 是否仍有必要，认为把二维版面转成一维文本必然丢失空间和上下文信息，从而限制问答效果的上限，直接让模型读页面图像更接近人的阅读方式。
文章指出，长文档会超出上下文窗口，而图像嵌入模型多针对自然图片训练，不适合检索文档页面。PageIndex 的做法是先生成供模型推理的目录树，选中页面后再把该页图像交给视觉模型，循环直到信息足够，代码已在 GitHub 公开。
要点
- OCR 转文本会丢失版面信息。
- 长文档会超出上下文窗口。
- 图像嵌入不适合检索文档页面。
- 先推理目录树再读页面图像。
- 实现代码已在 GitHub 公开。
原文：Do We Still Need OCR?
Converting a 2D visual document into a 1D text sequence inevitably discards spatial, contextual, and sometimes semantic relationships.
收录于 。摘自官方博客的简短节选，著作权归原发布者所有。