循序渐进 · AIP 教学 · Chatbot Studio(七)

工具(Tools)

工具是外部功能或 API,让 LLM 能执行操作或获取自身不具备的信息。有了工具,机器人从"能说"变成"能做"。

本文来源 · Source 内容整理自 Palantir Foundry 官方文档:
https://www.palantir.com/docs/foundry/chatbot-studio/tools/
原始标题:AIP Chatbot Studio • Tools • Overview • Palantir · 所属:AIP Chatbot Studio(做对话机器人)

先记住这几条

① 工具 = 外部能力
LLM 超出自身知识范围时的出口。
② 由模型决定何时调用
模型自己判断控制流与输入。
③ 工具要有清晰描述
描述不清模型就不会用或用错。
0

写在前面

tools(工具)是外部功能或 API,可由大语言模型(large language model,LLM)使用,以执行特定操作或获取超出其固有能力的信息。工具在让 LLM 决定控制流并构造输入方面尤其有用。

AIP Chatbot Studio 编辑模式的截图,其中的聊天机器人配置了一个 Action、Object Query 工具和一个 Ontology Semantic Search 工具。
AIP Chatbot Studio 编辑模式的截图,其中的聊天机器人配置了一个 Action、Object Query 工具和一个 Ontology Semantic Search 工具。
1

工具类型

要点:有哪些工具可用。

共有六种类型的工具可用:

  • Action: 让你的聊天机器人能够执行 ontology edit。可将其配置为自动运行,或在用户确认后运行。
  • Object query: 此工具指定 LLM 可以访问的对象类型。你可以添加多个对象类型,并指定可访问的属性,使查询更加节省 token。object query 工具支持对所配置对象的筛选、聚合、检查以及沿链接的遍历。
  • Function: 这允许 LLM 调用任何 Foundry function,包括已发布的 AIP Logic 函数。默认会自动使用函数的最新版本,但你也可以指定某个已发布版本,以获得更细粒度的控制。
  • Update application variable: 此工具用于更新在 Application state 标签页中配置的某个应用变量的值。
  • Command: 这些工具让你的聊天机器人能够使用一个或多个 commands 触发其他 Palantir 应用程序中的操作。
  • Request clarification: 此工具允许聊天机器人暂停执行,并向用户请求澄清。
  • (旧版)Ontology semantic search: 此工具可以使用向量属性检索相关的 Ontology context。此工具为旧版,不包含 citations 或输入/输出变量,也不会将结果对象集返回给 LLM。我们建议改用 Ontology context
2

工具模式

要点:模型决定何时调用工具的方式。

使用 tool mode 设置来控制已配置的工具如何提供给 LLM,以及 LLM 如何调用这些工具。可用的 tool mode 设置有:

  • Prompted tool calling: 此模式向提示词中插入指令来提供工具,并允许 LLM 使用这些工具。处于此 tool mode 的聊天机器人一次只能调用一个工具,因此在回答需要多次工具调用的复杂查询时可能耗时更长。此模式支持所有工具类型和所有可用模型
  • Native tool calling: 此模式使用受支持模型的内置能力来提供工具,并让 LLM 直接调用这些工具。由于更高的 token 效率以及处于此模式的聊天机器人能够并行调用多个工具,相比 prompted tool calling,它提供了更好的速度和性能。此模式目前只能用于 Palantir 提供的模型的一个子集,且仅支持以下工具类型:actions、object query、function 和 update application variable。如果你需要使用 native tool calling 模式不支持的模型或工具类型,请改用 prompted tool calling 模式。
AIP Chatbot Studio 编辑模式中的 tool mode 选择,可选项包括 prompted tool calling 和 native tool calling 模式。
AIP Chatbot Studio 编辑模式中的 tool mode 选择,可选项包括 prompted tool calling 和 native tool calling 模式。
3

查看推理过程

要点:看模型为什么选了这个工具。

当部署在编辑模式、查看模式、Workshop 或 AIP Threads 中时,你可以在回复下方选择 View reasoning,以查看用于生成该回复的 LLM 推理过程。

AIP Chatbot Studio 的编辑模式,右侧显示给定回复的 LLM 推理过程。
AIP Chatbot Studio 的编辑模式,右侧显示给定回复的 LLM 推理过程。

延伸阅读 · 相关页面

按主题横向跳转,不必顺着目录一篇篇读。

本组其他页面 · AIP Chatbot Studio(做对话机器人)

同一主题下的相邻内容。

常见问题速答 · FAQ

关于「工具(Tools)」,读者最常问的几个问题。

工具类型是什么?
有哪些工具可用。共有六种类型的工具可用。
工具模式是什么?
模型决定何时调用工具的方式。使用 tool mode 设置来控制已配置的工具如何提供给 LLM,以及 LLM 如何调用这些工具。可用的 tool mode 设置有。
查看推理过程是什么?
看模型为什么选了这个工具。当部署在编辑模式、查看模式、Workshop 或 AIP Threads 中时,你可以在回复下方选择 View reasoning,以查看用于生成该回复的 LLM 推理过程。