循序渐进 · AIP 教学 · AIP Evals(十)

在指标仪表盘查看结果

把多次运行的结果收拢到一处,用图表和统计呈现,还能比较聚合结果或单个测试用例的表现。

全部目录 AIP 首页 ← 上一篇 在指标仪表盘查看结果 下一篇 →
本文来源 · Source 内容整理自 Palantir Foundry 官方文档:
https://www.palantir.com/docs/foundry/aip-evals/metrics-dashboard/
原始标题:AIP Evals • View results in metrics dashboard • Palantir · 所属:AIP Evals(给 AI 做测试)

先记住这几条

① 仪表盘适合看趋势
比逐条读结果更直观。
② 可比较聚合与个体
整体指标和单用例都能切。
③ 跨运行对比
看改动前后是否真的变好了。
0

写在前面

评估套件运行的指标会被收集到报告中,可在 AIP Evals 指标仪表盘(metrics dashboard)中查看。在这里,你可以查看图表和统计数据,或比较来自评估函数的聚合结果和/或来自单个测试用例的结果。仪表盘视图中不支持指标目标(metric objectives)。

评估指标仪表盘中的聚合指标视图
评估指标仪表盘中的聚合指标视图

要访问仪表盘,请在 Logic 侧边栏的运行结果视图中选择 View metrics dashboard,或在评估套件页面上选择 Run tests 标签页。

访问指标仪表盘
访问指标仪表盘

如需更深入的分析和调试,你可以访问 LLM 轨迹查看器(LLM trace viewer)。导航到 View tests 标签页,然后双击某个测试用例以打开轨迹查看器。在这里,你将能够查看概述函数结果如何计算出来的执行信息。如果你使用的是自定义 LLM 作为评判者的评估器,LLM 轨迹查看器还将包含有关 LLM 评判者决策过程的信息。

从指标仪表盘导航到 LLM 轨迹查看器。
从指标仪表盘导航到 LLM 轨迹查看器。

延伸阅读 · 相关页面

按主题横向跳转,不必顺着目录一篇篇读。

本组其他页面 · AIP Evals(给 AI 做测试)

同一主题下的相邻内容。