会话日志

AIP Chatbot Studio 中的聊天机器人执行会以结构化事件的形式记录日志，这些事件可以导出到 Foundry 流式数据集，用于监控和分析。每条发送给聊天机器人的消息算作一次执行，每次执行都会被分配一个唯一的 trace 标识符，用于关联所有相关的日志条目。

导出聊天机器人会话日志需要日志导出功能。有关所需的角色，请参阅导出权限。聊天机器人执行日志包含可追溯到发送消息的用户的用户标识符，因此应当谨慎管理对导出日志数据的访问。

若要设置日志导出，请按照配置日志记录文档中的步骤操作，其中包括建议的 Apply markings 步骤，即对输出流式数据集应用安全标记，以控制对日志数据的访问。

了解如何在平台中通过 Ontology 和 AIP 可观测性查看日志。

每个日志条目都包含由日志 schema 提供的通用字段，以及聊天机器人特有的事件数据。聊天机器人特有的数据由一个 event_name 和一个描述执行期间所发生情况的 payload 组成。

Common log fields

以下字段包含在每个日志条目中，可用于筛选和关联日志。执行流程中来自各产品的日志（例如函数执行和语言模型使用）也共享这些字段，因此你可以用它们来追踪完整的执行请求：

Chatbot event data

每个聊天机器人事件都包含一个标识事件类型的 event_name，以及一个带事件专属字段的 payload。每个事件 payload 都包含一个 session_rid，用于标识聊天机器人会话。用它来把单次对话中的所有事件归组到一起。

Sample log structure

以下是 user_request 事件日志条目的简化示例：

{
  "time": "2024-01-15T09:30:00.000Z",
  "uid": "<USER_ID>",
  "traceId": "<TRACE_ID>",
  "content": {
    "event_name": "user_request",
    "payload": {
      "session_rid": "ri.aip-agents..session.<SESSION_ID>",
      "user_query": {
        "content": [
          {
            "text": {
              "content": "Summarize the key points from the latest press conference transcript."
            }
          }
        ]
      }
    }
  }
}

聊天机器人执行期间会记录以下事件类型：

Session metadata

在每次执行开始时记录一次，包含有关聊天机器人和会话的标识信息。

User request

捕获用户消息的完整上下文，包括为此次执行解析出的所有 retrieval context 和应用变量。

Chat messages

system_chat_message、user_chat_message 和 assistant_chat_message 事件具有相似的结构。

Tool calls

tool_call 事件记录聊天机器人调用某个工具的情况。

Tool call results

tool_call_result 事件记录一次工具调用的结果。

ToolResult 类型为以下之一：

• Success： 包含一个 llm_value（String），即返回给 LLM 的值；以及一个 variable_updates 列表，其中包含所有被更新的应用变量的变量名和新值。
• Failure： 包含一个 error_message（String）和一个说明工具调用失败原因的 reason（String）。

Final response

包含聊天机器人对用户的最终回复。

FinalResponse 类型为以下之一：

• Chatbot response： 包含一个内容项列表，其中可能包括文本和媒体。
• Client tool call： 表示聊天机器人将交由客户端操作处理，而不是返回直接回复。

Execution errors

在执行期间发生错误时记录。

Reconstruct a conversation

若要重建与某个特定聊天机器人的聊天对话：

1. 筛选 owning_rid 与该聊天机器人 RID 匹配的日志。
2. 进一步按 session_rid 筛选，以隔离出单次对话。
3. 对于用户消息，查找 event_name 为 user_request 的条目，并从 payload 中提取 user_query。
4. 对于聊天机器人的回复，查找 event_name 为 final_response 的条目，并从 payload 中提取 response。

Evaluate tool performance

若要分析工具的表现：

1. 查找 event_name 为 tool_call_result 的条目。每个条目都包含 tool_name、duration_milliseconds，以及该次调用是成功还是失败。
2. 若要衡量可靠性，请按工具比较成功结果与失败结果的数量。
3. 若要找出较慢的工具，请按 duration_milliseconds 排序。
4. 若要检测重试，请在单个 traceId 内查找具有相同 tool_name 的多组 tool_call 和 tool_call_result 配对。一次失败之后又对同一工具发起另一次调用，即表明聊天机器人进行了重试。