循序渐进 · 教学 · 设计验证(Validation)

用"基于任务的验证"检验本体真的好用

结构审查只能证明本体"在技术上正确",证明不了"真的被人用好用"。这一篇教你用真实业务问题做演练,让人和 AI 代理都跑一遍,把可用性缺口暴露出来。

原文 Ontology design validation 预计阅读 15 分钟 互动演示 + 6 道测验
本文来源 · Source 内容整理自 Palantir Foundry 官方文档:
https://www.palantir.com/docs/foundry/ontology/ontology-design-validation/
原始标题:Ontology design validation

一句话速览

用"基于任务的验证"检验本体真的好用:结构审查只能证明本体"在技术上正确",证明不了"真的被人用好用"。这一篇教你用真实业务问题做演练,让人和 AI 代理都跑一遍,把可用性缺口暴露出来。

1 结构审查的局限(limits of structural review)
结构审查(structural review)回答的是"本体在语义上连贯、技术上正确吗":对象类型是否代表连贯实体、链接有没有意义的…
2 基于任务的验证(task-based validation)
基于任务的验证补上"能否被使用"的缺口:你用组织的真实业务问题,让未参与构建的人和AI 代理在通用分析工具里独立完成调查,从而验证本…
3 去哪找真实业务问题(sourcing real business questions)
问题要从组织的运营节奏派生:领导反复在问什么?
4 观察 → 该审查什么
对每个问题,记录:是否正确回答、耗时、犹豫点、搜索词、试过的对象类型/链接、是否求助
1

结构审查的局限(limits of structural review)

结构对 ≠ 能用。这是验证要补的缺口。

结构审查(structural review)回答的是"本体在语义上连贯、技术上正确吗":对象类型是否代表连贯实体、链接有没有意义的基数(cardinality)、多个类型是否该共享接口。它能防止不可逆的设计错误,但它评估的是模型内部完整性,确认不了实际可用性

"Structural correctness does not guarantee operational usability."结构正确,并不保证运维可用性。
关键区别:结构审查是"模型自己对自己"的检查;验证是"让人和代理拿真实问题来用"的演习。前者挡住硬错,后者暴露软坑。
2

什么是基于任务的验证(task-based validation)

用真实问题,让依赖本体的人与代理实跑一遍。

基于任务的验证补上"能否被使用"的缺口:你用组织的真实业务问题,让未参与构建的人AI 代理在通用分析工具里独立完成调查,从而验证本体的可发现性(discoverability)表达性(expressiveness)运维可用性(operational usability)

"you test the model against the decisions and investigations it must support, with the people and agents who will depend on it."你用模型必须支撑的决策与调查,去测试它——和那些将依赖它的人与代理一起。
"A builder can often navigate these weaknesses from memory, but a builder alone cannot validate the design."构建者常凭记忆绕开弱点,但光靠构建者无法验证设计。
为什么非要"未参与构建的人":构建者脑子里装着模型,会本能绕开弱点;只有新手/领域专家的真实路径,才能暴露普通用户会不会卡住。
3

去哪找真实业务问题(sourcing real business questions)

问题别编,从运营节奏里挖。

问题要从组织的运营节奏派生:领导反复在问什么?团队做决策前需要什么信息?哪些报告因为底层难整合而一直补不齐?保留那些"本体表达起来很别扭"的问题——它的失败本身就是设计缺失的信号。

把问题排成三层序列:① 确立情况(哪个客户 / 设施 / 资产)→ ② 追踪贡献因素(订单 / 事件 / 物料)→ ③ 评估影响(风险 / 干预点)。一层层追问,最容易暴露链接与聚合上的断点。

窍门:优先选"高后果、常发生"的问题。一个问题牵动多步调查,验证收益最大。
4

设计演练(drill design decisions)

工具、参与者、形式,三个决定先定好。

工具
人员演练只用通用分析应用:Insight、Contour、Quiver。禁用 purpose-built 的 Workshop 应用,也禁用 AI 助手(AIP Analyst / AI FDE)——我们要测的是"本体本身好不好用",不是"定制界面替你铺好了路"。
参与者
优先选未构建本体的领域专家或新用户。团队形式可先无协助尝试,再由教练介入,区分"模型问题"和"知识问题"。
单人 vs 团队
单人隔离测可用性(一个人能否独立跑到答案);团队测共享流利度(大家用本体的说法是否一致)。
练习格式
Quiz-style game:问题开局隐藏、高分给多步难题、指定最不熟悉者操作、必须展示分析路径。Timed drill-down:构建从组织级到颗粒细节的连贯依赖问题链,测总完成时间。
5

读懂结果:观察 → 该审查什么

记录分析路径比记录答案更有信息量;点开看每个观察对应哪条规则。

对每个问题,记录:是否正确回答、耗时、犹豫点、搜索词、试过的对象类型/链接、是否求助。特别注意手动导出 / 自建连接行为——它强烈暗示"业务里有关联,但本体没表示出来"。单次失败可能是边缘案例,重复出现的困惑才是系统问题

观察到的现象应审查的规则 / 反模式
无法识别起始对象类型The Misnomer
同一概念选了不同对象类型Department Silos
无法在相关概念间移动 / 手动导出或自建连接Link design
合理路径得到不同答案Naming conventions
仅构建者或技术用户成功System Silos
合理路径持续缓慢Normalization and derived properties
根本找不到合理路径数据缺失 / 覆盖缺口

下面用点击方式复习一遍映射——读观察,点"点我看该审查什么":

观察:用户盯着本体,却说不出该从哪个对象类型入手
点我看该审查什么 →
观察:同一概念,不同人挑了不同的对象类型
点我看该审查什么 →
观察:用户把数据导出到表格,自己手动 VLOOKUP 关联
点我看该审查什么 →
观察:走通了合理路径,但特别慢
点我看该审查什么 →
6

对比人与代理 · 把验证变成日常

人和代理各跑一遍,缺口在哪一目了然。

对比人与代理(comparing people and agents):用 AIP Analyst / AI FDE 跑同样的问题,只给问题和本体访问权限、不提供人类路径。得到的矩阵很有用:

  • 人和代理都成功 → 路径可发现,设计基本稳。
  • 代理成、人败 → 检查人机界面、别名、视觉层次(人没找着的,代理靠语义找着了)。
  • 人成、代理败 → 识别那些藏在人心里的隐式业务逻辑,考虑补进本体或文档。
  • 人和代理都败 → 缺数据 / 缺链接 / 语义缺失,是本体层面的真缺口。
"People and agents must repeatedly move from a consequential question to a trustworthy answer through a path that reflects how the organization actually operates."人和代理必须反复地、沿着反映组织真实运作的路径,从要紧问题走到可信答案。

把验证变成日常(ongoing practice):初始只需少量关键问题、代表参与者、通用应用即可。优先改"影响多道题"的高价值变更,重跑旧题测改进、引入新题测泛化。最终可把问题集发展为对本体的 evaluation suite(评测套件)

7

互动:跑一遍验证演练(清单)

勾选你已完成哪几步,看看离一次完整验证还差什么。

验证演练清单 · 勾选已完成步骤
已勾选 0 / 8 步。完成前 6 步即可跑通第一次验证;7–8 步把它变成长期机制。

一页带走

① 结构对 ≠ 能用
结构审查挡硬错;基于任务的验证补"可用性"缺口。
② 用真实问题跑
让未构建的人与代理在通用分析应用里独立调查,记录路径而非只看答案。
③ 观察映射规则
手动连接→Link design;慢→派生属性;同概念多类型→Department Silos。
④ 持续化
人和代理对比找缺口;把问题集做成 evaluation suite,验证变日常。

延伸阅读 · 相关页面

按主题横向跳转,不必顺着目录一篇篇读。

常见问题速答 · FAQ

关于「用"基于任务的验证"检验本体真的好用」,读者最常问的几个问题。

读懂结果:观察 → 该审查什么?
对每个问题,记录:是否正确回答、耗时、犹豫点、搜索词、试过的对象类型/链接、是否求助。特别注意手动导出 / 自建连接行为——它强烈暗示"业务里有关联,但本体没表示出来"。单次失败可能是边缘案例,重复出现的困惑才是系统问题。
对比人与代理 · 把验证变成日常是什么?
对比人与代理(comparing people and agents):用 AIP Analyst / AI FDE 跑同样的问题,只给问题和本体访问权限、不提供人类路径。得到的矩阵很有用。