循序渐进 · AIP 教学 · 核心平台(六)

兼容各提供商的原生 API 端点

Foundry 为主流 LLM 提供商提供代理端点,按各提供商原生 API 的格式接收请求 —— 你可以继续用熟悉的开源 SDK,同时白拿平台的限流、数据保护能力。

全部目录 AIP 首页 ← 上一篇 兼容各提供商的原生 API 端点 下一篇 →
本文来源 · Source 内容整理自 Palantir Foundry 官方文档:
https://www.palantir.com/docs/foundry/aip/llm-provider-compatible-apis/
原始标题:LLM-provider compatible APIs • Palantir · 所属:核心平台(AIP 总览与治理)

先记住这几条

① 格式兼容
请求体与各家原生 API 一致,不用改代码。
② 白拿平台能力
速率限制、数据治理、审计都由平台兜底。
③ 适合已有代码迁移
现成的 OpenAI/Anthropic 客户端直接指过来。
0

写在前面

Foundry 为主流 LLM 提供商提供代理端点(proxy endpoint),以与各提供商原生 API 相同的格式接收请求。这使你既可以使用开源 SDK 和工具,又能享受 Foundry 的能力,例如速率限制、数据治理和使用量追踪。

当前支持的提供商 API 及对应的 Foundry 端点如下:

Beta 端点

xAI 和 Google(Gemini)端点目前处于 beta 阶段,正在积极开发中。可能尚未支持所有功能或字段。

1

前置条件

要点:动手前要先具备什么。

要使用 Palantir 提供的语言模型,请确保:

2

请求格式

要点:各提供商原生 API 的请求体形态。

身份认证通过以下 bearer token 请求头发送:

Authorization: Bearer {FOUNDRY_TOKEN}

对这些端点的请求应与对应提供商端点的请求结构相同。有关期望的请求格式,请参阅提供商的文档。

Google 的 streamGenerateContent 代理端点目前仅支持 SSE 响应格式,因此你必须提供 alt=sse 查询参数。

某些提供商(例如 Anthropic)使用非标准的身份认证请求头。使用它们的 SDK 时,你可能需要将认证方式配置为使用 bearer token。而已经使用 bearer token 认证的提供商(例如 OpenAI)则无需特殊配置。

3

AIP 集成与数据治理

要点:白拿平台的治理能力:限流、数据保护、审计。

这些端点执行与其他 AIP 用法相同的数据治理,例如零数据保留(zero data retention,ZDR)和地理限制要求。我们会有选择地启用与这些要求兼容的提供商 API 功能。

只有已在你的 enrollment 上启用的模型和提供商才可通过这些端点使用。对于由多个提供商提供的模型,请求只会路由到已启用的提供商。端点使用情况可在 Resource Management 应用中查看,并受到速率限制。

延伸阅读 · 相关页面

按主题横向跳转,不必顺着目录一篇篇读。

本组其他页面 · 核心平台(AIP 总览与治理)

同一主题下的相邻内容。

常见问题速答 · FAQ

关于「兼容各提供商的原生 API 端点」,读者最常问的几个问题。

前置条件是什么?
动手前要先具备什么。要使用 Palantir 提供的语言模型,请确保。
请求格式是什么?
各提供商原生 API 的请求体形态。身份认证通过以下 bearer token 请求头发送。
AIP 集成与数据治理是什么?
白拿平台的治理能力:限流、数据保护、审计。这些端点执行与其他 AIP 用法相同的数据治理,例如零数据保留(zero data retention,ZDR)和地理限制要求。我们会有选择地启用与这些要求兼容的提供商 API 功能。