兼容各提供商的原生 API 端点
Foundry 为主流 LLM 提供商提供代理端点,按各提供商原生 API 的格式接收请求 —— 你可以继续用熟悉的开源 SDK,同时白拿平台的限流、数据保护能力。
https://www.palantir.com/docs/foundry/aip/llm-provider-compatible-apis/
原始标题:LLM-provider compatible APIs • Palantir · 所属:核心平台(AIP 总览与治理)
先记住这几条
写在前面
Foundry 为主流 LLM 提供商提供代理端点(proxy endpoint),以与各提供商原生 API 相同的格式接收请求。这使你既可以使用开源 SDK 和工具,又能享受 Foundry 的能力,例如速率限制、数据治理和使用量追踪。
当前支持的提供商 API 及对应的 Foundry 端点如下:
- Anthropic messages ↗:
/api/v2/llm/proxy/anthropic/v1/messages - OpenAI chat completions ↗:
/api/v2/llm/proxy/openai/v1/chat/completions - OpenAI responses ↗:
/api/v2/llm/proxy/openai/v1/responses - OpenAI embeddings ↗:
/api/v2/llm/proxy/openai/v1/embeddings [Beta]xAI chat completions ↗:/api/v2/llm/proxy/xai/v1/chat/completions[Beta]xAI responses ↗:/api/v2/llm/proxy/xai/v1/responses[Beta]Google generateContent ↗:/api/v2/llm/proxy/google/v1/models/{model}:generateContent[Beta]Google streamGenerateContent ↗:/api/v2/llm/proxy/google/v1/models/{model}:streamGenerateContent?alt=sse
xAI 和 Google(Gemini)端点目前处于 beta 阶段,正在积极开发中。可能尚未支持所有功能或字段。
前置条件
请求格式
身份认证通过以下 bearer token 请求头发送:
Authorization: Bearer {FOUNDRY_TOKEN}对这些端点的请求应与对应提供商端点的请求结构相同。有关期望的请求格式,请参阅提供商的文档。
Google 的 streamGenerateContent 代理端点目前仅支持 SSE 响应格式,因此你必须提供 alt=sse 查询参数。
某些提供商(例如 Anthropic)使用非标准的身份认证请求头。使用它们的 SDK 时,你可能需要将认证方式配置为使用 bearer token。而已经使用 bearer token 认证的提供商(例如 OpenAI)则无需特殊配置。
AIP 集成与数据治理
这些端点执行与其他 AIP 用法相同的数据治理,例如零数据保留(zero data retention,ZDR)和地理限制要求。我们会有选择地启用与这些要求兼容的提供商 API 功能。
只有已在你的 enrollment 上启用的模型和提供商才可通过这些端点使用。对于由多个提供商提供的模型,请求只会路由到已启用的提供商。端点使用情况可在 Resource Management 应用中查看,并受到速率限制。
延伸阅读 · 相关页面
按主题横向跳转,不必顺着目录一篇篇读。
本组其他页面 · 核心平台(AIP 总览与治理)
同一主题下的相邻内容。
- AIP 总览:把 AI 接进你的数据与运营AIP(Artificial Intelligence Platform)不是孤立的模型平台,它长在你的数据与 Onto
- AIP 能力清单:平台各处的 AI 特性平台里几乎每个应用都配备了 AIP 驱动能力。这一篇把它们按应用分类列全,作为你的能力索引表。
- 开始使用 AIP:学习路径这一篇很短,只回答一个问题:该按什么顺序学 AIP。
- 提示词工程最佳实践写提示词(prompt)这件事,直接决定 LLM 输出的质量。这一篇讲怎么写出稳定可靠的提示词,是所有 AI 应用的基本
- 平台支持的 LLM 清单AIP 支持来自 xAI、OpenAI、Anthropic、Meta、Google 等提供商的多种 LLM 与文本嵌入模
- AI 伦理与治理Palantir 把负责任 AI 当作构建方式本身,而不是事后补丁。这一篇讲他们的伦理原则与治理机制。
- AIP 的安全与隐私把 AI 接进企业数据,安全是第一道门槛。这一篇讲 AIP 如何保护客户数据的隐私与安全。
- AIP 的计算用量与计费LLM 按 token 计费:输入文本和输出文本都要算钱。这一篇讲清用量从哪来、怎么算、怎么控。
- Ontology 与 AIP 的可观测性AI 跑出问题了,怎么查?这一篇讲 Workflow Lineage 里的一组能力,让你看清每条 AI 流程的来龙去脉。
- 管理员:开启 AIP 能力AIP 能力默认可能并未全部开启。这一篇是管理员的操作指南:在哪些界面、按什么顺序把能力开出来。
- 管理员:LLM 容量管理LLM 容量在行业层面是有限资源,所有提供商都会限制账户的最大可用容量。这一篇讲 AIP 如何在组织内分配这份稀缺资源。
- 管理员:LLM 注册速率限制这一篇是纯数值参照表:各注册层级在商业环境与政府环境下的 TPM(每分钟 token 数)与 RPM(每分钟请求数)上限
常见问题速答 · FAQ
关于「兼容各提供商的原生 API 端点」,读者最常问的几个问题。