循序渐进 · AIP 教学 · 文档智能(二)

文档智能核心概念

搞清传统抽取与 LLM 驱动抽取的本质区别,才能选对策略。这一篇把概念讲透。

本文来源 · Source 内容整理自 Palantir Foundry 官方文档:
https://www.palantir.com/docs/foundry/document-intelligence/core-concepts/
原始标题:AIP Document Intelligence • Core concepts • Palantir · 所属:AIP Document Intelligence(读懂文档)

先记住这几条

① 传统抽取基于算法
PDF 元数据、OCR、布局检测等。
② LLM 驱动抽取更灵活
能处理格式不规整的文档。
③ 两者结合使用
不是非此即彼。
④ 策略是要设计的
抽取策略决定输出质量。
0

写在前面

1

传统抽取

要点:基于算法的方式,快但不灵活。

传统抽取配置基于并非由大语言模型支撑的算法,例如 PDF 元数据抽取、光学字符识别(OCR)检测以及布局检测。AIP Document Intelligence 中的这些配置由 transform media item 端点支撑。

进一步了解如何在 AIP Document Intelligence 中使用文档抽取媒体变换。

2

预处理

要点:正式抽取前的准备步骤。

对于需要处理更复杂文档的用例,将 VLM 与预处理技术相结合已被证明相当成功。在 Configuration > Generative AI 下,打开 Preprocess document 开关。文档预处理本质上是在文档上运行传统 OCR(光学字符识别),然后将该输出连同文档页面本身一起传给 VLM,从而为模型提供更多上下文,以便成功分析文档。

AIP Document Intelligence 中的预处理配置区域。
AIP Document Intelligence 中的预处理配置区域。
3

评测

要点:怎么判断抽取质量。

目前,只有当你的注册(enrollment)可使用 Anthropic Claude 4 Sonnet 时,才能执行抽取评估。

对于抽取策略的每次运行,你可以选择查看一份定性评分表(rubric),它会利用你所选的 VLM 作为评判者。我们对提示词进行了微调,使其针对多种维度从 1(最差)到 5(最佳)进行排名,包括给定策略对表格、标题等的抽取效果如何。评估让你能够在测试不同提示词和策略时快速迭代并做出判断。

4

部署路径

要点:transform 与函数两条路的差异。

当你对某个特定策略满意后,可以将其部署到批处理管道中,以便在更大范围的数据集上运行;也可以部署为逐页抽取的 Python functions。逐页 function 让你能够构建自己的抽取工作流,按用例所需的结构化方式消费 Ontology(本体)。

Python transform

你可以将策略导出为 Python transform 仓库模板,该模板完全动态化;数据集 RID/路径、模型 RID/路径、自定义提示词以及所选配置都会自动配置好。我们建议你在触发构建前先验证这项工作。

Python functions

AIP Document Intelligence 应用中的 Deploy to functions 按钮。
AIP Document Intelligence 应用中的 Deploy to functions 按钮。

按照平台内的指南并利用生成的代码片段,使用你的抽取策略搭建一个 Python functions 仓库。这些 functions 一次抽取一页。结合 Automate 等工具使用你自己的编排策略,以配合你的 Ontology 定制此工作流。

进一步了解 AIP Document Intelligence 的功能以及如何开始使用

延伸阅读 · 相关页面

按主题横向跳转,不必顺着目录一篇篇读。

本组其他页面 · AIP Document Intelligence(读懂文档)

同一主题下的相邻内容。

常见问题速答 · FAQ

关于「文档智能核心概念」,读者最常问的几个问题。

传统抽取是什么?
基于算法的方式,快但不灵活。传统抽取配置基于并非由大语言模型支撑的算法,例如 PDF 元数据抽取、光学字符识别(OCR)检测以及布局检测。AIP Document Intelligence 中的这些配置由 transform media item 端点支撑。
预处理是什么?
正式抽取前的准备步骤。对于需要处理更复杂文档的用例,将 VLM 与预处理技术相结合已被证明相当成功。在 Configuration > Generative AI 下,打开 Preprocess document 开关。
评测是什么?
怎么判断抽取质量。目前,只有当你的注册(enrollment)可使用 Anthropic Claude 4 Sonnet 时,才能执行抽取评估。
部署路径是什么?
transform 与函数两条路的差异。当你对某个特定策略满意后,可以将其部署到批处理管道中,以便在更大范围的数据集上运行;也可以部署为逐页抽取的 Python functions。