自带模型（BYOM）：把外部模型接进 AIP

自带模型（Bring-your-own-model，BYOM）在 Palantir 平台中也称为注册模型（registered models），是一项为希望将自己的 LLM 或账号接入 AIP 的客户提供一等公民（first-class）支持的能力，覆盖 Palantir 的各类开发者产品。这些产品包括 AI FDE、AIP Analyst、AIP Chatbot Studio、AIP Logic、Workshop、Code Repositories 中的 TypeScript functions、Pipeline Builder（即将支持）等。

为了提供更大的灵活性并支持诸如用于数据主权的自托管模型等能力，平台支持多种方式为注册模型提供后端；请查阅下方的模型来源小节了解更多。

基于 LLM 的支持情况与可行性，我们通常建议使用来自模型供应商（例如 OpenAI、Azure OpenAI、AWS Bedrock、xAI、GCP Vertex）的 Palantir 提供的模型，或使用由 Palantir 自托管的开源模型（例如 Llama 系列模型）。

不过，你可能更希望将自己的模型或账号接入 AIP。我们建议仅在你出于法律或合规原因无法使用 Palantir 提供的模型时，或当你拥有自己的微调模型或其他独特 LLM 并希望在 AIP 中加以利用时，才使用注册模型。

注册模型的 BYOM 实现支持以下 AIP 应用及其他平台能力：

• AI FDE
• AIP Analyst
• AIP Chatbot Studio
• AIP Logic
• Workshop（通过 AIP Chatbot Studio 或 AIP Logic）
• Code Repositories中的 TypeScript functions

此外，该实现还提供以下 AIP 基础设施工具：

• 跨 AIP 应用的模型选择器
• Control Panel 权限与启用开关
• Resource Management 应用级限流与用量可观测性

注册模型的 BYOM 实现目前不支持以下应用或功能：

• AIP Assist，包括 Code Repository 中的代码辅助
• Pipeline Builder 的 Generate 和 Explain 功能

你可以通过以下任一来源为注册模型提供后端：

• REST API source： 通过 Data Connection 中的 REST API 来源连接外部托管的模型供应商或账号。当你的模型暴露标准的供应商 API 时，这是推荐的路径。更多信息请参阅如何注册并使用你自己的模型文档。
• Compute module： 使用你托管在 compute module 中的模型服务器作为模型后端，可运行在你自己的硬件与 GPU 上，支持本地部署或气隙（air-gapped）环境，也可作为自定义代理层。请查阅由 compute module 提供后端的模型文档了解更多。

LLM rate limits

注册模型与 Palantir 提供的模型一样支持 LLM 限流。Enrollment administrators（注册管理员）必须在模型注册期间定义 enrollment 级和用户级限流。

• Enrollment rate limits 适用于项目级别的所有限流。
• Project-level rate limits 默认为 enrollment 限额的 70%，但可在 Resource Management 应用的 AIP usage and limits 标签页中配置。
• User rate limits 管控 AI FDE、AIP Analyst 以及其他按用户归属的应用中的单用户消耗量。

Permissions and enablement

• Registering models： 只有 Enrollment administrators 可以在 Control Panel 中注册新模型或编辑注册信息。管理员还必须对关联的 Data Connection 来源拥有 Owner 或 Editor 权限，才能注册、编辑或删除注册模型。
• Source permissions are severed at registration： 模型一经注册，其与底层 Data Connection 来源的关联便与最终用户访问权限解耦。最终用户无需对来源拥有任何权限即可使用注册模型；访问权限完全由 Control Panel 中配置的注册模型启用开关管控。
• Using registered models： 使用注册模型进行构建或以最终用户身份使用注册模型的权限，通过 Control Panel 中的注册模型启用设置来管理。访问权限可以授予整个 enrollment 或特定用户组，与标准 AIP 启用方式类似。
• Disabling a model： 注册模型可随时在 Control Panel 的 AIP settings 扩展中禁用，从而阻止其在各 AIP 应用中被使用。

Is it possible to use a self-hosted model?

可以。你可以在 compute module 中自托管模型，并将其注册为由 compute module 提供后端的模型。请遵循自托管模型指南中的说明操作。

Do registered models support markings?

目前注册模型不支持 markings（标记）。Enrollment administrators 可以在 Control Panel 中限制谁可以使用注册模型，也可以在 Resource Management 应用中限制哪些项目获得这些模型的容量。

How are costs handled for registered models?

Palantir 不会对注册模型的使用收取额外的平台费用。调用你外部托管的模型所产生的费用由你的模型供应商直接计费。注册模型的成本不会显示在 Resource Management 应用中。

Why are AIP Assist and Pipeline Builder's Generate and Explain features not supported?

这些是原生平台功能，依赖于对 Palantir 提供的模型的评估与测试，我们无法保证它们在不熟悉的客户模型上能够正常工作或提供高质量的服务。目前没有计划让这些原生助手能力支持注册模型。