Chatbot Studio 核心概念

以下核心概念对于理解和充分利用 AIP Chatbot Studio（此前称为 AIP Agent Studio）至关重要。你可以在入门教程中进一步了解如何应用这些概念。

AIP Chatbots（此前称为 AIP Agents）是配备了企业专属信息和工具的交互式助手。

application state（应用状态），此前称为参数，是提示词中用于定制和控制 LLM 行为的应用变量。它们支持动态输入，并可根据任务需求进行调整。

指令、工具描述和变量描述会被编译进 LLM 的原始系统提示词中。这会教会 LLM 如何使用可用的上下文来完成任务。

对于指令，请从最重要的信息开始，例如任务概述。接下来提供必要的数据，以及有关如何使用 application state 和 tools 的指导。

对于每个工具和变量的描述，请向 LLM 提供具体步骤，说明如何以及何时使用该特定上下文。请记住，LLM 只能访问你明确提供的信息。

检索增强生成（retrieval-augmented generation）利用外部数据源动态地为 LLM 提供相关信息。这种方法通过确保 LLM 的回复基于最新且最贴合上下文的数据，来提升回复质量。

retrieval context（检索上下文）指的是针对每条消息检索到的特定信息，这些信息用于生成回复。其过程如下：

1. 用户发送一条新消息。
2. 根据用户的消息，从已配置的数据源中获取相关内容。
3. 将相关内容与用户的消息一并提供给 LLM。

更多详情，请参阅 retrieval context 文档。

tools（工具）是 LLM 可用于执行特定操作或获取超出其基础能力的信息的外部功能或 API。

更多详情，请参阅 tools 文档。

向量嵌入（embeddings）是文本的数值表示，能够捕捉语义含义。它们用于高效地比较和检索相似的文本片段。在 AIP Chatbot Studio 中，嵌入有助于识别相关文档和上下文，从而提供准确的回复。

上下文窗口（context window）指的是 LLM 一次能够处理的文本量（通常以 token 计量）。在 AIP Chatbot Studio 中，上下文窗口包括系统提示词、对话历史，以及为辅助 LLM 而注入的信息（包括 retrieval context、application state 和 tools）。超出上下文窗口会导致错误，并提示用户创建新会话以继续交互。

聊天机器人可以发布为 Functions，从而能够在平台中任何可执行 Functions 的地方使用。例如，构建者可以将 AIP Chatbots 发布为 Functions，以便在 AIP Evals 中对它们进行评估，使用 Automate 自动化聊天机器人工作流，或在 Code Repositories 中使用聊天机器人。更多信息，请参阅 chatbots as Functions 文档。