循序渐进 · AIP 教学 · AIP Logic（九）

AIP Logic 的计算用量

Logic 函数跑一次，钱花在哪？这一篇把用量拆开算给你看，帮你预测成本、优化设计。

全部目录 AIP 首页 ← 上一篇 AIP Logic 的计算用量 下一篇 →
本文来源 · Source 内容整理自 Palantir Foundry 官方文档：
https://www.palantir.com/docs/foundry/logic/compute-usage/
原始标题：AIP Logic • Compute usage • Palantir · 所属：AIP Logic（用积木搭 AI 逻辑）
★

先记住这几条

① 用量主要来自 LLM 调用
block 越多、上下文越长，花费越高。
② 上下文是成本大头
喂给模型的每一段文本都要算钱。
③ 设计方式影响成本
合并调用、精简上下文能显著省。
0

写在前面

AIP Logic 是 Palantir 的一款工具，让你能够快速且可维护地构建由 LLM 驱动的流程，同时通过 Ontology 和计算能力与你的组织数据交互。AIP Logic 围绕 LLM 指令「block」的概念构建，这些 block 可以线性组合，形成思维链（chain-of-thought）工作流，从而查询数据、执行 action 和函数，并为你的用例生成全新的信息。在 AIP Logic 中，「block」是使用量度量的原子单位，不过每个 block 都可能触发 Foundry 内的其他系统，这些系统也可能消耗 compute-second 来向 AIP Logic block 返回信息。

如果你与 Palantir 签有企业合同，请在进行计算使用量估算之前联系你的 Palantir 代表。

1

核心概念：资源、block 与工具

要点：用量计量的基本单位。

一个 AIP Logic 资源（resource） 由一个或多个 AIP Logic block 组成。运行一个资源将运行实现期望输出所需的各个 block。Block 可以使用工具（tools）（例如 Ontology 查询、函数和 action）来产生输出。

2

用 AIP Logic 计量 Foundry 计算量

要点：哪些环节消耗计算资源。

AIP LLM tokens

AIP 中的 LLM token 按照底层模型的方式计量（例如 OpenAI ↗），并取决于 prompt 和响应的大小，以及发出的 prompt 数量。更多信息请查阅各模型类型的使用量表。

LLM block execution

当一个 AIP Logic block 执行或选择使用某个工具时，会有最低的 compute-second 使用量。

  • 基础 LLM block 执行：4 compute-seconds
  • LLM block 工具执行：8 compute-seconds

Additional Foundry compute usage

当一个 AIP Logic block 将计算联邦到外部工具（例如 Ontology 查询或函数）时，这些应用的执行过程中可能会使用额外的计算资源。

3

管理 AIP Logic 的 Foundry 计算用量

要点：怎么把成本压下来。

AIP Logic 中的某些操作会显著影响计算使用量。下面我们提供指引，说明如何通过留意 token 使用量、logic block 执行总次数以及 Foundry 计算资源的使用来控制计算使用量。

Token usage

  • 处理大量文本会显著增加整体计算使用量。要注意与 LLM 一起使用的输入 prompt 的大小。当从 Ontology 中拉取大段文本时，这一点尤其重要。
  • 为控制 token 使用量，你应当努力削减注入 prompt 的文本量，并确保 prompt 本身只包含相关文本。在处理大型文档时，这一点尤为重要。

Total number of logic block executions

  • 运行大量 logic block 会消耗大量计算资源，尤其是当这些 block 通过函数以编程方式触发时（即不是由人工操作触发的）。
  • 为控制 logic block 的执行次数，可考虑（在适当情况下）将多个 block 合并为单个 prompt，并且仅在必要时才使用额外的 block。Action、function 和 data transformation block 本身不会产生计算使用量。

Foundry compute

  • 大量调用 Foundry 应用（例如 Ontology 查询、函数或 action）会消耗大量计算资源。当某个 logic 资源需要多次重试，或在每次执行时调用许多函数或 action 时，就可能出现这种情况。
  • 为控制来自其他应用的计算使用量，请确保你了解你的 logic block 链中对外部工具的调用次数。可能调用 Foundry 其他部分的潜在工具包括：
  • Ontology Query
  • Action Execution
  • Function Execution
  • Data Transformation
4

计算用量示例

要点：用一个例子算给你看。

假设某个用户有一个包含两个 LLM block 的 AIP Logic 资源。其中一个 LLM block 配置了一个 action，并会在执行时调用它。该 logic 资源端到端运行两次。

Number of LLM blocks: 2
Number of LLM blocks that call actions: 1
Number of runs: 2

1 run compute-seconds = 2 LLM blocks * 4 compute-seconds + 1 action block * 8 compute-seconds
1 run compute-seconds = (2 * 4) + (1 * 8)
1 run compute-seconds = 16 compute-seconds

2 runs = 2 * 16 compute-seconds = 32 compute-seconds

Total = 32 compute-seconds

延伸阅读 · 相关页面

按主题横向跳转，不必顺着目录一篇篇读。

本组其他页面 · AIP Logic（用积木搭 AI 逻辑）

同一主题下的相邻内容。

常见问题速答 · FAQ

关于「AIP Logic 的计算用量」，读者最常问的几个问题。

核心概念：资源、block 与工具是什么？
用量计量的基本单位。一个 AIP Logic 资源（resource）由一个或多个 AIP Logic block 组成。运行一个资源将运行实现期望输出所需的各个 block。
计算用量示例是什么？
用一个例子算给你看。假设某个用户有一个包含两个 LLM block 的 AIP Logic 资源。其中一个 LLM block 配置了一个 action，并会在执行时调用它。该 logic 资源端到端运行两次。
全部目录 AIP 首页 ← 上一篇：用 Automate 自动化 AIP Logic 下一篇：AIP Logic 的指标 →