用 compute module 支撑模型

由 compute module 提供后端的模型允许你在 compute module 中托管大型语言模型服务器，并将其注册为 AIP 中的一等公民模型。该注册模型会出现在所有受支持应用的模型选择器中，与 Palantir 提供的模型或通过 REST API 注册的模型完全一样。

这种方式适用于两类主要场景：

• 在你自己的算力上自托管模型： 你可以使用由 compute module 提供后端的模型，在你自己的 GPU 上运行开源或自定义模型，以实现数据主权、本地部署或气隙部署、成本控制，或抢先体验新发布的模型。
• 构建自定义代理或联邦层： 你可以使用由 compute module 提供后端的模型来重映射 API 格式、注入提示词、在数据到达外部供应商之前进行脱敏，或将请求联邦路由到一个注册模型背后的多个供应商。

在将你的 compute module 应用注册为模型来源之前，它必须满足以下要求：

• Serve a supported provider API format： 你的容器必须暴露一个符合受支持供应商 API 格式之一的 API。诸如 vLLM 和 Ollama 之类的推理服务器默认就会暴露兼容的 API。

• Set the application port： 你必须在 Dockerfile 中添加一个 application.port 标签，指向你的模型服务器所监听的端口。例如 LABEL application.port='8000'。关于容器的通用指引，请查阅 compute modules 容器文档。

• Set minimum replicas to at least one： 将你的 compute module 配置为至少一个副本。详情请查阅最小副本数文档。

在你的 compute module 运行之后，在 Control Panel 中将其注册为模型：

1. 导航到 AIP settings 扩展并选择 Registered models 标签页。

1. 选择 Register a model。

1. 选择你的 compute module 作为来源。

1. 配置 Model ID。将其设置为你的模型服务器所期望的标识符，例如你的推理服务器所使用的模型名称。

1. 定义模型的能力。启用 Reasoning、Structured outputs 和 Tool calling 可确保 AI FDE 和 AIP Analyst 能够使用该模型。

1. 定义模型的限流。关于 enrollment 级和用户级限流的详情，请查阅注册模型支持的功能。

1. 为你的 enrollment 或特定用户组启用注册模型访问权限。

你的注册模型现在会出现在所有受支持应用的模型选择器中。

既然你已经拥有了一个由 compute module 提供后端的注册模型，你可以使用该 compute module 来用 AIP 自托管模型，也可以使用该 compute module 来构建代理或联邦层。