循序渐进 · AIP 教学 · 自带模型(二)

用 REST API 来源支撑模型

当你的模型暴露标准供应商 API时,通过 Data Connection 里的 REST API 来源接入是最省事的路径。

全部目录 AIP 首页 ← 上一篇 用 REST API 来源支撑模型 下一篇 →
本文来源 · Source 内容整理自 Palantir Foundry 官方文档:
https://www.palantir.com/docs/foundry/aip/rest-api-backed-models/
原始标题:Bring your own model • Models backed by external sources (REST API) • Palantir · 所属:接入自己的模型(Bring your own model)

先记住这几条

① 适用标准 API
模型接口与主流供应商格式一致时选这条。
② 走 Data Connection
复用平台既有的连接器与凭据管理。
③ 推荐路径
官方明确说这是首选方案。
0

写在前面

你可以通过 Data Connection 中的 REST API 来源为注册模型提供后端,从而将 AIP 连接到外部托管的模型供应商或账号。当你的模型暴露标准的供应商 API 时,这是推荐的路径。

1

如何注册并使用自己的模型

要点:从建连接器到完成注册的完整步骤。

你必须是一名 Enrollment administrator(注册管理员),并且对你按以下步骤配置的 Data Connection 来源拥有 OwnerEditor 权限。

Create REST API source in Data Connection

首先,按以下步骤在 Data Connection 中创建 REST API 来源:

  1. 打开 Data Connection 应用,针对你的模型供应商端点选择 New source > REST API
  2. 为你的来源输入一个 Name(名称),并选择一个你能够保留 OwnerEditor 权限的 Source location(来源位置)。
  3. 为你的模型供应商配置 Domain base URL(域名基础 URL)、Authentication(认证)方式和 Port(端口)。
  4. 确保你在 Export configuration(导出配置)小节中打开了 Enable exports to this sourceEnable exports to this source without markings validations 两个开关。
  5. 完成你的 REST API 来源配置。更多细节可参考 REST API 连接器文档
Export configuration 小节,其中 Enable exports to this source 和 Enable exports to this source without markings validations 两个开关均已开启。
Export configuration 小节,其中 Enable exports to this source 和 Enable exports to this source without markings validations 两个开关均已开启。

Register the model in Control Panel

接下来,按以下步骤在 Control Panel 中注册模型:

  1. 打开 Control Panel,导航到 AIP settings 扩展,然后选择 Registered models 标签页。
  2. 选择 Register a model
  3. Source configuration 页面的 Select source rid 下拉菜单中搜索并选择 REST API 来源的 RID。
  4. Configure source APIModel API configuration 小节中填写你的模型详情,例如模型供应商名称、模型名称和 API 端点路径。
  5. 按端点定义模型的能力。你声明的能力决定了该模型能够驱动哪些 AIP 功能。启用 ReasoningStructured outputsTool calling 可确保 AI FDE 和 AIP Analyst 能够使用该模型。
  6. 定义模型的限流,这是在 Resource Management 应用中启用容量管理和用量可观测性所必需的:
  7. Enrollment rate limits: 定义 enrollment 可用的每分钟最大请求数或每分钟令牌数。项目级限额按这些 enrollment 限额的百分比计算。
  8. User rate limits: 定义适用于 AI FDE、AIP Analyst 以及其他按用户归属的应用中用量情况的单用户限额。
  9. 返回 Control Panel 中的 AIP settings 扩展,为你的 enrollment 启用注册模型访问权限。你可以将访问权限授予整个 enrollment 或特定用户组。

Next steps

你的注册模型现已在各 AIP 应用中可用。它会出现在所有受支持应用中模型选择器的 Registered models 标签页下。

来源配置与模型信息。
来源配置与模型信息。

延伸阅读 · 相关页面

按主题横向跳转,不必顺着目录一篇篇读。

本组其他页面 · 接入自己的模型(Bring your own model)

同一主题下的相邻内容。