AIP Logic 核心概念

以下核心概念对于理解和充分发挥 AIP Logic 的作用至关重要。你可以在快速入门教程中进一步了解如何应用这些概念。

Logic 函数接收诸如 Ontology 对象或文本字符串之类的输入，并返回输出，输出可以是某个值（例如字符串）、某个对象，或对 Ontology 本身的编辑。

Logic 函数可以像平台中的任何其他函数一样被利用和使用，例如在 Workshop 模块中。要编辑 Ontology，Logic 函数必须发布，并从某个 action 中调用。更多信息请参见如何在 action 中使用 Logic 函数。

Logic 函数由多个 block 组成。Block 可以读写 Ontology、执行计算、聚合数据、调用函数、对集合进行循环、评估条件，或与 LLM 交互。将 block 串联起来，即可把一个 block 的输出传递给后续 block，从而构建复杂的操作。

发布 Logic 函数后，你可以配置评估（Evaluations），它让你能为 Logic 函数编写详细的测试。AIP Logic 的评估可用于：

• 调试并改进 Logic 函数和 prompt。
• 在你的函数上比较不同的模型，例如 GPT-4 与 GPT-3.5。
• 考察 Logic 函数在多次运行之间的差异。
• 运行实验以测试函数参数，并找出在性能与成本之间取得最佳平衡的取值。
• 使用 Results 视图内置的结果分析器来诊断失败；该分析器会将失败的测试用例归入根因类别，并给出有针对性的 prompt 修改建议。

要引导生成一个评估套件，请在右侧边栏的 Evals 标签页中选择 Generate evals。AIP Evals 会分析你的 Logic 函数——包括所有被引用的对象类型，而不只是输入和输出类型——并创建可编辑的测试用例和指标供你进一步调整。参见 AIP Evals：快速入门。

评估还支持可选的评估器指标类型。如果某个可选指标不适用于某个测试用例，结果会显示为 No value，且 AIP Evals 会将其排除在聚合指标分数之外。

编写完 Logic 函数后，你可以将该函数作为测试来运行。运行函数会打开 Debugger 面板，显示 Logic 函数中各组成 block 的 LLM 思维链（chain-of-thought，CoT）。查看 LLM 的 CoT 会展示 LLM「思考过程」的每一步，并提供 LLM 所用的任何辅助工具的信息，从而使调试更加容易。

你可以将 Logic 函数配置为以两种执行模式之一运行：用户作用域（user-scoped）或项目作用域（project-scoped）。用户作用域执行会使用运行该函数的用户的权限来运行函数，而项目作用域执行则使用包含该函数的项目的权限。执行模式还会影响谁可以查看执行日志。更多信息请参见执行模式设置。