LlamaIndex 公开文档解析模型 OCRia-1 的提速方法，单块 B200 生成速度提高近 10 倍

LlamaIndex 公开了它给文档解析模型 OCRia-1 提速的做法。OCRia-1 能把文件页面转成保留表格、图表和格式的文字。团队把模型中不敏感的部分压缩成更低精度，用一个小模型先猜出后面多个字、再由大模型一次核对，并改写了多处 GPU 和 CPU 上的计算步骤。LlamaIndex 自报，在单块 NVIDIA B200 上，生成速度从每秒约 285 个 token 提高到约 2800 个，接近 10 倍。团队计划把通用的改进贡献给开源推理框架 vLLM。

由 dalao.ai 撰写：标题、摘要和“为什么重要”是我们自己的文字；事实以原始报道为准，著作权归原发布者所有。