AIP 的计算用量与计费

AIP 计算用量（compute usage）涉及大语言模型（LLM）。从根本上说，LLM 以文本作为输入，并以文本作为输出进行响应。输入和输出的文本量以 token 来计量。LLM 的计算用量以「每若干 token 的计算秒数（compute-seconds）」来计量。不同模型可能有不同的计算用量费率，详见下文。

Token 是 LLM 用来处理和理解输入的基本文本单位。一个 token 可以短至单个字符，也可以长至一整个单词，具体取决于语言和特定模型。

重要的是，token 与单词并非一一对应。例如，常见单词可能是一个 token，但较长或不太常见的单词可能被拆分成多个 token。甚至标点符号和空格也可以算作 token。

不同的模型提供商对什么构成一个 token 有各自不同的定义；例如，OpenAI ↗ 和 Anthropic ↗。平均而言，一个 token 大约 4 个字符长，其中一个字符是指单个字母或标点符号。

在 AIP 中，token 由那些向 LLM 发送提示词（prompt）并从中接收响应的应用所消耗。每个这样的提示词和响应都由可计量的 token 数构成。这些 token 可以发送给多个 LLM 提供商；由于提供商之间的差异，这些 token 会被转换为计算秒数，以匹配底层模型提供商的价格。

所有提供由 LLM 支持的能力的应用在使用时都会消耗 token。以下列表列出了在你使用其由 LLM 支持的能力时可能会消耗 token 的应用集合。

• AIP Assist
• AIP Logic
• AIP Error Enhancer
• AIP Code Assist
• AIP Analyst
• AI FDE
• Workshop 中由 LLM 支持的工具
• Quiver 中由 LLM 支持的工具
• Pipeline Builder 中由 LLM 支持的工具
• 对 Language Model Service 的直接调用（包括 Python 和 TypeScript 库）

AIP 将文本直接路由到后端 LLM，由它们自行执行分词（tokenization）。文本的大小将决定后端模型为提供响应所使用的计算量。

以下面这句发送给 GPT-4o 模型的句子为例。

AIP incorporates all of Palantir's advanced security measures for the protection of sensitive data in compliance with industry regulations.

这句话包含 140 个字符，将按以下方式分词，用 | 字符分隔每个 token。一个 token 并不总是等同于一个单词；有些单词会被拆分成多个 token，如下例中的 AIP 和 Palantir。

A|IP| incorporates| all| of| Pal|ant|ir|'s| advanced| security| measures| for| the| protection| of| sensitive| data| in| compliance| with| industry| regulations|.

这句话包含 24 个 token，将使用以下数量的计算秒数：

compute-seconds = 24 tokens * 43 compute-seconds / 10,000 tokens
compute-seconds = 24 * 43 / 10,000
compute-seconds = 0.1032

上述句子中的 token 数和字符数已通过 OpenAI 的 Tokenizer 功能 ↗核实。

由 LLM token 产生的计算秒数用量会直接挂载到请求该用量的那个应用资源上。例如，如果你使用 AIP 在 Pipeline Builder 中自动解释一条流水线，那么 LLM 为生成该解释所使用的计算秒数将归属到那条具体的流水线。这一点在整个平台范围内都成立；记住这一点将有助于你追踪自己在何处使用了 token。

在某些情况下，计算用量无法归属于平台中的单个资源；例子包括 AIP Assist 和 Error Explainer 等。当用量无法归属于单个资源时，token 将归属到发起 token 使用的用户文件夹。

我们建议你持续留意那些代表你发送给 LLM 的 token。一般而言，你在使用 LLM 时包含的信息越多，使用的计算秒数就越多。例如，以下场景描述了使用计算秒数的不同方式。

• 在 Pipeline Builder 中，你可以要求 AIP 解释你的转换节点；所选节点的数量会影响 LLM 为生成响应所使用的 token 数，进而影响计算秒数用量。这是因为随着节点数量增加，LLM 必须处理的关于这些节点配置的文本量也会增加。
• 在 AIP Assist 中，要求 LLM 生成大段代码需要更多的输出 token。较短的响应使用更少的 token，因而消耗更少的计算量。
• 在 AIP Logic 中，随提示词一起发送大量文本需要更多 token，因而需要更多计算秒数。

Exporting AIP token usage data

要详细分析你注册的 LLM 用量，你可以从 Control Panel 的 Internal dataset export 部分导出 AIP Token Usage 数据集。该数据集提供按模型和资源划分的每日 token 消耗明细，以及相应的计算秒数和货币用量。如需了解更多信息，请参阅内部数据集导出。