循序渐进 · AIP 教学 · 其他应用(二)

AIP Model Catalog 总览

Model Catalog 是平台里所有模型资源的总目录:统一查看有哪些模型、各自状态如何、被谁在用。选型与治理都从这里入手。

本文来源 · Source 内容整理自 Palantir Foundry 官方文档:
https://www.palantir.com/docs/foundry/model-catalog/overview/
原始标题:AIP Model Catalog • Overview • Palantir · 所属:其他 AIP 应用

先记住这几条

① 模型的总目录
一处看清平台里有哪些模型。
② 关注模型状态
可用、弃用等状态一目了然。
③ 支撑选型与治理
谁在用哪个模型、影响范围多大。
0

写在前面

你可以在 Control Panel 中启用 Model Catalog。

Model Catalog 是 Foundry 中的一个 AIP 应用,旨在帮助发现和理解所有 Palantir 提供的模型。

Model Catalog 让构建者能够:

  • 查看 AIP 中可用的模型并发现新模型。
  • 为你的用例选择正确的模型。后续更新将提供更多用于比较和决策的工具与基准测试。
  • 通过 Marketplace 使用基础模板以及完整的用例模板快速上手某个工作流。
  • 使用沙箱/演练场(sandbox/playground)测试不同模型。

Model Catalog 目前不包含自定义 ML/AI 模型,只包含 LLM。你可以在 Modeling Objectives 中找到 ML/AI 模型。

Model Catalog 有两个主要视图:

1

Model Catalog 首页

要点:总览视图能看什么。
Model Catalog 主页
Model Catalog 主页

Model Catalog 主页是一个发现与导航界面,展示用户在其 Foundry enrollment 中可用的所有大型语言模型。

在主页上有几种筛选模型的方式:

  • Lifecycle status(生命周期状态)
  • Experimental: 实验性模型可能被供应商或 Palantir 任一方视为实验性的,这意味着 API 可能变化、token 容量可能受限、在 AIP 应用中的行为可能不被完全支持,或出现其他不稳定行为。所有模型在首次于 AIP 中可用时都会以实验性状态开始。实验性模型通常用于探索和测试,对长期稳定性与支持的重视程度较低。当模型达到 Palantir 的性能与可用性标准后,会从实验性提升为稳定状态,这些标准包括但不限于:具备足够的吞吐量以在保持可用的同时处理生产工作负载的请求、在所有 AIP 应用中均可用,以及广泛的地域可用性。

Enrollment administrators 可以在 Control PanelAIP settings 小节中为其 enrollment 启用或禁用 Experimental 模型,从而让 Model Catalog 只显示处于 Stable 生命周期阶段的模型。

  • Stable: 稳定(stable)或正式可用(generally available,GA)模型是同时获得模型供应商和 Palantir 认可的可靠模型。这些模型提供稳健的功能、有保障的支持,并面向长期生产使用而设计。模型的地域可用性因模型供应商的供给情况而异。你可以在受支持的 LLM 文档中查阅按地区划分的模型可用性完整列表,并在 Model Selector 中查看每个模型状态的信息。Palantir 会在收到模型供应商规定的下线日期后,将模型从稳定状态移至 sunset(即将下线)状态,并通过 Upgrade Assistant 通知用户这一变化。
  • Sunset: sunset(即将下线)模型将在未来几个月内弃用,具体由模型供应商决定并公告。虽然 sunset 模型在其规定的弃用日期之后不能再支撑新的工作流,但该模型仍可能支持现有工作流。与其稳定状态的对应模型相比,sunset 模型将不会获得同等水平的技术支持。Palantir 会在收到模型供应商规定的弃用日期后,将模型从 sunset 状态移至 deprecated(已弃用)状态,并通过 Upgrade Assistant 通知用户这一变化。关于 sunset 模型的更多信息,请查阅模型弃用文档
  • Deprecated: 在其 sunset 期结束后,Palantir 会与模型供应商协同将模型从 Foundry 中移除,即弃用。已弃用模型无法支撑现有工作流(包括新的 API 调用),因此项目必须在模型被弃用之前迁移到稳定模型以保持功能正常。Foundry 会保留并允许访问已弃用模型的历史数据和日志。关于已弃用模型的更多信息,请查阅模型弃用文档
  • Type(类型)
  • Completion model: 补全模型通过预测并补全输入文本来生成上下文相关的文本。这使其适用于内容生成、自动补全、翻译和问答等任务。
  • Embedding model: 嵌入模型将词语和句子等离散数据转换为连续的向量表示。它最常用于语义搜索以及其他信息检索用例。
  • Vision model: 视觉模型经过训练可以分析和解读视觉输入,使其能够识别物体、对图像进行分类,并支持针对图像和视频数据的各类计算机视觉任务。
  • Model creator(模型创建方)
  • 模型创建方是负责创建、开发和维护特定 LLM 的组织。例如 OpenAI、Anthropic、Google Gemini 和 Mistral AI。模型创建方可以直接提供其 LLM,也可以通过与其他组织合作提供,例如通过 Azure 提供的 OpenAI 以及通过 AWS 提供的 Anthropic。部分模型可能由 Palantir 提供并托管,例如 Llama 和 Mixtral。

如果某个模型不可用或呈灰色,意味着它未为你的 enrollment 启用。要启用某个模型,请联系你的平台管理员或 Palantir 代表。

了解关于 Model enablement 的更多信息

2

模型实体页

要点:单个模型的详情。
Model catalog 模型视图
Model catalog 模型视图

每个模型都有一个实体页面,包含三个主要小节:

  • Playground: 供构建者试用不同模型的界面。
  • How to use it: 通过创建一个资源来快速上手,该资源已预填充开始构建工作流所需的内容。Model Catalog 目前支持 Functions 和 Transforms。
  • Model description: 包含基本描述、法律免责声明、模型的上下文窗口(如 token 上限)、训练数据截止时间等。
3

模型对比页

要点:横向比较选型。
Model catalog 比较视图
Model catalog 比较视图

Model Catalog 的比较页面让构建者能够高效地比较和评估各种 LLM 的性能。该界面允许用户选择两个 LLM,并在相同的补全或视觉任务上对它们进行测试。这有助于做出有依据的决策,让构建者能够快速选出最适合其工作流的模型。

延伸阅读 · 相关页面

按主题横向跳转,不必顺着目录一篇篇读。

本组其他页面 · 其他 AIP 应用

同一主题下的相邻内容。

常见问题速答 · FAQ

关于「AIP Model Catalog 总览」,读者最常问的几个问题。

Model Catalog 首页是什么?
总览视图能看什么。Model Catalog 主页是一个发现与导航界面,展示用户在其 Foundry enrollment 中可用的所有大型语言模型。
模型实体页是什么?
单个模型的详情。每个模型都有一个实体页面,包含三个主要小节。
模型对比页是什么?
横向比较选型。Model Catalog 的比较页面让构建者能够高效地比较和评估各种 LLM 的性能。该界面允许用户选择两个 LLM,并在相同的补全或视觉任务上对它们进行测试。这有助于做出有依据的决策,让构建者能够快速选出最适合其工作流的模型。