构建代理层或联邦层

代理或联邦层位于 AIP 与一个或多个外部模型供应商之间。你的 compute module 接收来自 AIP 的推理请求，施加自定义逻辑，然后将其转发给外部供应商。这让你能够精确控制哪些数据会离开你的环境，以及请求如何被路由。

• PII redaction（PII 脱敏）： 在提示词到达外部供应商之前，剥离或掩蔽其中的敏感数据。
• Prompt injection（提示词注入）： 在转发之前，前置系统提示词、追加指令或转换请求内容。
• API format remapping（API 格式重映射）： 在 AIP 所期望的供应商 API 格式与使用不同格式的供应商之间进行转换。
• Multi-provider federation（多供应商联邦）： 在单个注册模型背后，基于成本、延迟或模型可用性将请求路由到多个供应商。

除了由 compute module 提供后端的模型的通用先决条件外，将 compute module 用作代理或联邦层还需要：

• Network egress（网络出口）： 你的 compute module 必须能够访问外部模型供应商。请通过 Data Connection 中的来源并配合适当的网络策略来配置出口。
• Secrets（密钥）： 外部供应商的 API 密钥或其他凭据必须附加到该来源上。你的容器在运行时通过 SOURCE_CREDENTIALS 环境变量来访问这些凭据。关于配置和读取密钥的详情，请查阅来源。

1. 构建一个实现受支持的供应商 API 格式的容器。该容器应接收来自 AIP 的请求，施加你的自定义逻辑（例如脱敏、路由或提示词注入），然后将其转发给一个或多个外部供应商。
2. 在 Data Connection 中创建一个来源，并使用允许出口到你外部供应商的网络策略。将 API 密钥或其他凭据作为密钥附加。
3. 在你的 Dockerfile 中设置 application.port 标签，并将镜像发布到 Artifacts。关于容器的通用指引，请查阅 compute module 容器文档。
4. 使用已发布的镜像创建一个 compute module，并附加你创建的来源。将最小副本数设置为至少一个。
5. 在 Control Panel 中注册模型并配置能力。
6. 在任意受支持的 AIP 应用中选择该模型。