循序渐进 · AIP 教学 · 核心平台(五)

平台支持的 LLM 清单

AIP 支持来自 xAI、OpenAI、Anthropic、Meta、Google 等提供商的多种 LLM 与文本嵌入模型。这一篇是选型参照表

全部目录 AIP 首页 ← 上一篇 平台支持的 LLM 清单 下一篇 →
本文来源 · Source 内容整理自 Palantir Foundry 官方文档:
https://www.palantir.com/docs/foundry/aip/supported-llms/
原始标题:Supported LLMs • Palantir · 所属:核心平台(AIP 总览与治理)

先记住这几条

① 多提供商策略(k-LLM)
不绑定单一供应商,可按任务挑模型。
② 模型分两类
对话/生成类 LLM,与文本嵌入(embedding)模型。
③ 能力与成本不同
上下文长度、模态支持、单价都有差异。
④ 清单会变
模型上下线频繁,动手前先查本页。
0

写在前面

Palantir AIP 支持来自领先提供商(包括 xAI、OpenAI、Anthropic、Meta 和 Google)的多种 LLM(大语言模型)和文本嵌入模型。受支持的模型列于本页,可在整个 Palantir 平台中使用,以驱动 AIP 工作流;不过各 enrollment 的可用性可能不同(例如因地理限制而不同)。

Enrollment 管理员通过 Control Panel 管理模型家族。当启用某个子处理者(subprocessor)时,Palantir 可能会在已接受条款和条件的前提下,启用符合资格要求的其他模型家族。了解如何配置你的 enrollment 上可供使用的 LLM 选择

1

可用的 LLM

要点:对话/生成类模型清单与能力对照。

以下 LLM 受支持,可与 AIP 配合使用,具体取决于 enrollment 的可用性

2

可用的文本嵌入模型

要点:做检索、语义搜索要选这类模型。

Palantir AIP 还支持以下文本嵌入模型:

3

可用的音频模型

要点:语音相关场景用。
录音与征得同意由你负责

在部署任何录制或转写人类语音的应用之前,请确保已通知参与者,并在你所在司法管辖区要求的情况下准备好同意确认流程。无论被录音者是应用用户、通话中的第三方,还是其他任何被采集到声音的人,这一点都可能适用。参见录音、转写与同意

Palantir AIP 支持两类音频模型:用于构建对话式语音应用的实时语音到语音(speech-to-speech)模型,以及用于将音频转换为文本的转写模型。如需了解如何在以 Foundry 用户身份认证的浏览器应用中使用音频模型,请参见构建支持语音的 OSDK 应用。如需了解 Foundry 上音频的总体概况,请参见实时音频

Mode 列指明每个模型支持哪些使用路径:

  • Realtime: 流式双向 WebSocket。模型负责语音活动检测、轮流发言和流式输出;应用在采集音频时即发送原始音频。
  • Static: 请求-响应式 HTTP。应用发送一段有界的音频负载,并收到转写结果。适用于转写此前录制的音频文件。如果应用自行进行音频分块,也可用于实时转写——这是一种权衡:以增加应用复杂度换取更低且更可预测的每分钟成本。当你的 enrollment 上没有可用的实时模型时,这种方式也有帮助。延迟取决于分块大小和模型,因此请针对你的用例进行评估。

Realtime speech-to-speech

实时语音到语音模型接受流式音频输入,在对话过程中进行工具调用,并通过 WebSocket 连接返回流式音频输出。

ModelAPI nameProviderMode
GPT Realtime 1.5 ↗gpt-realtime-1.5OpenAI Direct, Azure OpenAIRealtime
GPT Realtime 2.0 ↗gpt-realtime-2OpenAI DirectRealtime

Transcription

转写模型将音频转换为文本。大多数模型同时支持实时(流式 WebSocket)和静态(请求-响应式 HTTP)模式;Whisper_large_v3 由 Palantir 托管,仅支持静态模式。

ModelAPI nameProviderMode
Whisper 1 ↗whisper-1OpenAI Direct, Azure OpenAIRealtime, Static
GPT-4o Transcribe ↗gpt-4o-transcribeOpenAI Direct, Azure OpenAIRealtime, Static
GPT-4o Mini Transcribe ↗gpt-4o-mini-transcribeOpenAI Direct, Azure OpenAIRealtime, Static
GPT-4o Transcribe Diarize ↗gpt-4o-transcribe-diarizeOpenAI Direct, Azure OpenAIRealtime, Static
Whisper Large V3 ↗Whisper_large_v3Palantir-hostedStatic

当你需要对会议等多说话人音频进行说话人分离(diarization)时,请使用 gpt-4o-transcribe-diarize。对于不需要说话人分离的通用转写,可根据最适合你用例的质量、成本和延迟权衡,使用 gpt-4o-transcribegpt-4o-mini-transcribewhisper-1。在无法使用 OpenAI Direct 或 Azure OpenAI 集成的环境中,请使用 Whisper_large_v3

关于各地理区域下按 enrollment 划分的可用性,请参见下文的 LLM 地理可用性表。

4

LLM 可用性前提

要点:哪些条件下这些模型才可用。

AIP 与模型无关,为 LLM 驱动的用例提供了多样化的模型选择;更多信息请参阅 AIP 中所有可用模型的列表

不过,具体模型能否在某个 enrollment 上可用取决于某些前提条件,因此 LLM 的选择和可用性会因 enrollment 而异。这些前提条件决定了某个模型家族在 Control Panel 中显示为 enabled(已启用)、disabled(已禁用)还是 disallowed(不允许)。进一步了解模型启用界面中的模型状态

相关标准如下:

  • 模型已与 AIP 集成: Palantir 的目标是支持业界最新的旗舰模型,并会随着模型的发布和更新积极推进支持。
  • 在需要时已完成法律确认: Enrollment 管理员必须接受提供商的法律要求和使用条款,才能启用某些模型。这通常可以在 Control Panel 的 Model enablement 选项卡中完成。等待法律确认的模型会显示为 disabled 状态。
  • 已在 enrollment 上启用 AIP 以使用 LLM: 若要在 AIP Logic、Transforms、Functions 和 Pipeline Builder 等产品中使用,必须为目标用户组启用自定义工作流的 AIP 能力权限。
  • 区域可用性兼容(针对外部提供商的模型): 对于 GPT、Claude 和 Gemini 这类模型,如果你的 enrollment 受地理限制,则可能需要考虑区域可用性。例如,GPT4o 和 Claude 3 Sonnet 在各自模型提供商发布时都仅在美国可用,之后才在欧盟、英国和其他地区推出。详情请查阅模型地理限制章节。因地理限制而不可用的模型会显示为 disallowed 状态。
  • 已完成额外的审查(针对某些 Palantir 提供的模型): 开源模型(如 Llama 和 Mixtral)可能需要额外的 Palantir 工程审查以支持你的环境。需要此类审查的模型会显示为 disallowed 状态。
  • 与特定 AIP 前端产品集成需要足够时间: 新的 LLM 需要一定时间才能在所有 AIP 产品上得到完整支持(例如在 AIP Logic 中以及 Pipeline Builder 的 Use LLM 节点功能中)。
  • 风险考量(针对实验性模型): 由于实验性模型可能会失效或需要手动迁移到更新的模型,我们会限制其推广,客户可能需要在启用使用前予以确认。「experimental(实验性)」一词依模型提供商的描述而定,并非用于生产运营用途。
5

LLM 速率限制

要点:各模型/层级的调用上限。

关于 LLM 速率限制的信息,请查阅 LLM 容量管理文档。

LLM availability by geography

由于地理限制(简称 georestriction),某些 enrollment 可能只能访问有限的模型集合;某一区域的地理限制意味着发往 LLM 的任何 AIP 请求都保持在该区域边界内。例如,如果某个 enrollment 被定义为欧盟地理受限,则所有 LLM 请求都将在欧盟境内处理。未受地理限制的 enrollment 可以访问 Palantir 支持的全部模型。

下表列出了 AIP 所支持各模型可采用的地理限制区域选项。区域地理限制指的是 enrollment 的设置,而非特定用户所在的位置。

Model ProviderModelUSEUUKCAAUJPKSAIL2IL4IL5
AnthropicClaude Haiku 4.5
Amazon BedrockClaude Haiku 4.5
AzureClaude Haiku 4.5
Google VertexClaude Haiku 4.5
Amazon BedrockClaude Opus 4.1
Google VertexClaude Opus 4.1
AnthropicClaude Opus 4.5
Amazon BedrockClaude Opus 4.5
AzureClaude Opus 4.5
Google VertexClaude Opus 4.5
AnthropicClaude Opus 4.6
Amazon BedrockClaude Opus 4.6
AzureClaude Opus 4.6
Google VertexClaude Opus 4.6
AnthropicClaude Opus 4.7
Amazon BedrockClaude Opus 4.7
AzureClaude Opus 4.7
Google VertexClaude Opus 4.7
AnthropicClaude Opus 4.8
Amazon BedrockClaude Opus 4.8
AzureClaude Opus 4.8
Google VertexClaude Opus 4.8
AnthropicClaude Opus 5
Amazon BedrockClaude Opus 5
AzureClaude Opus 5
Google VertexClaude Opus 5
Google VertexClaude Sonnet 4
AnthropicClaude Sonnet 4.5
Amazon BedrockClaude Sonnet 4.5
AzureClaude Sonnet 4.5
Google VertexClaude Sonnet 4.5
AnthropicClaude Sonnet 4.6
Amazon BedrockClaude Sonnet 4.6
AzureClaude Sonnet 4.6
Google VertexClaude Sonnet 4.6
AnthropicClaude Sonnet 5
Amazon BedrockClaude Sonnet 5
AzureClaude Sonnet 5
Google VertexClaude Sonnet 5
Google VertexGemini 3 Flash (Preview)
Google VertexGemini 3.1 Flash Lite
Google VertexGemini 3.1 Pro (Preview)
Google VertexGemini 3.5 Flash
Google VertexGemini 3.5 Flash-Lite
Google VertexGemini 3.6 Flash
Google VertexGemini 3.7 Flash
Amazon BedrockGemma 4 26B A4B
Amazon BedrockLlama 3.1 8b Instruct
Palantir-hostedLlama 3.1 8b Instruct
Amazon BedrockLlama 3.3 70b Instruct
Palantir-hostedLlama 3.3 70b Instruct
Amazon BedrockLlama 4 Maverick 17b 128E Instruct
Amazon BedrockLlama 4 Scout 17b 16E Instruct
Palantir-hostedLlama 4 Scout 17b 16E Instruct
Palantir-hostedLlama 3.2 NV EmbedQA 1B v2
Palantir-hostedLlama 3.3 Nemotron Super 49b v1.5
Amazon BedrockNVIDIA Nemotron 3 Nano 30B
Amazon BedrockNVIDIA Nemotron 3 Super 120B
AzureGPT-4.1
OpenAIGPT-4.1
AzureGPT-4.1 mini
OpenAIGPT-4.1 mini
AzureGPT-4.1 nano
AzureGPT-4o
OpenAIGPT-4o
AzureGPT-5
AzureGPT-5 Codex
AzureGPT-5 mini
AzureGPT-5 nano
AzureGPT-5.1
OpenAIGPT-5.1
AzureGPT-5.1 Codex
AzureGPT-5.1 Codex mini
AzureGPT-5.2
OpenAIGPT-5.2
OpenAIGPT-5.2 Pro
AzureGPT-5.3 Codex
OpenAIGPT-5.3 Codex
AzureGPT-5.4
OpenAIGPT-5.4
OpenAIGPT-5.4 Pro
AzureGPT-5.4 mini
OpenAIGPT-5.4 mini
AzureGPT-5.4 nano
OpenAIGPT-5.4 nano
AzureGPT-5.5
OpenAIGPT-5.5
AzureGPT-5.6 Luna
OpenAIGPT-5.6 Luna
AzureGPT-5.6 Sol
OpenAIGPT-5.6 Sol
AzureGPT-5.6 Terra
OpenAIGPT-5.6 Terra
Palantir-hostedGPT-OSS-120B
Palantir-hostedGPT-OSS-20B
AzureText Embedding 3 Large
OpenAIText Embedding 3 Large
AzureText Embedding 3 Small
OpenAIText Embedding 3 Small
OpenAIWhisper 1
Azureo1
Azureo3
Azureo3-mini
Azureo4-mini
Azuretext-embedding-ada-002
OpenAItext-embedding-ada-002
Palantir-hostedDocument Information Extraction
Palantir-hostedGemma 4 26B A4B
Palantir-hostedSchematic 7B
Palantir-hostedWhisper Large V3
Palantir-hostedSnowflake Arctic Embed Medium
xAIGrok 4.3
xAIGrok 4.5
xAIGrok 420 Non-Reasoning Latest
xAIGrok 420 Reasoning Latest
xAIGrok Build 0.1
6

自带模型(LLM)

要点:平台模型不够用时,怎么接自己的。

自带模型(Bring your own model)是一项能力,为希望连接自己的 LLM 或账号、以便在 AIP 中与所有 Palantir 开发者产品(AIP Logic、Pipeline Builder、Chatbot Studio、Workshop 等)一起使用的客户提供一等支持。

请查阅自带模型文档,了解如何注册模型以便在 AIP 中使用。


注意:AIP 功能的可用性可能会发生变化,且可能因客户而异。

「OpenAI」名称与「GPT」品牌归 OpenAI 所有。

本文提及的所有第三方商标(包括徽标和图标)均归其各自所有者所有。不暗示任何关联或背书关系。

延伸阅读 · 相关页面

按主题横向跳转,不必顺着目录一篇篇读。

本组其他页面 · 核心平台(AIP 总览与治理)

同一主题下的相邻内容。

常见问题速答 · FAQ

关于「平台支持的 LLM 清单」,读者最常问的几个问题。

可用的 LLM是什么?
对话/生成类模型清单与能力对照。以下 LLM 受支持,可与 AIP 配合使用,具体取决于 enrollment 的可用性。
可用的文本嵌入模型是什么?
做检索、语义搜索要选这类模型。Palantir AIP 还支持以下文本嵌入模型。
可用的音频模型是什么?
语音相关场景用。在部署任何录制或转写人类语音的应用之前,请确保已通知参与者,并在你所在司法管辖区要求的情况下准备好同意确认流程。无论被录音者是应用用户、通话中的第三方,还是其他任何被采集到声音的人,这一点都可能适用。参见录音、转写与同意。
LLM 可用性前提是什么?
哪些条件下这些模型才可用。AIP 与模型无关,为 LLM 驱动的用例提供了多样化的模型选择;更多信息请参阅 AIP 中所有可用模型的列表。