AI 伦理与治理

在 Palantir，我们相信负责任的 AI 不是事后才考虑的附加项，而是我们构建技术方式的根本所在。我们的方法核心是开发这样的软件：让负责任的 AI 使用贯穿整个系统生命周期；因为我们认识到，伦理考量不止于模型开发本身，而是涵盖完整的技术体系——从数据基础和加工 pipeline，到用户界面和人类决策工作流。我们的平台不把伦理考量当作单独的合规要求，而是将负责任的 AI 能力融入整个开发生命周期。

本文阐述 Palantir 的 AI 平台（AIP）如何积极支持负责任 AI 开发的八大核心主题。每个主题不仅代表一项原则，还代表一组具体的能力和工作流，旨在帮助用户构建值得信赖的 AI 系统——负责任、合乎伦理，并且在实际中有效。这种全面的方法确保用户拥有所需的工具和工作流，能够系统性地满足负责任 AI 的要求，无论他们处理的是传统机器学习模型还是生成式 AI 系统。

AI 系统应当具有包容性和可及性，不应导致对个人或群体的不公平歧视。

Platform capabilities

AIP 提供用于识别数据中偏见来源、评估模型偏见，以及在模型使用过程中监控公平性问题的功能。

• Sensitive Data Scanner 可以自动识别数据集中的受保护属性和潜在偏见来源，从而在公平性风险影响模型训练、评估或使用之前主动进行评估。
• Modeling Objectives 中的子集评估允许在评估数据集内系统性地评估模型在不同群体上的表现，揭示聚合指标可能掩盖的潜在差异化影响。例如，子集评估可用于运行模型评估，并轻松比较模型在评估数据集中不同人口群体上的表现。
• AIP Evals允许你在多样化的测试用例上评估 AIP Logic 函数的性能。借助 AIP Evals 中的实验（experiment），用户还可以进一步调整模型的输入参数，以了解模型某些输入的变化如何改变模型的回答。
• 数据健康监控持续评估数据的代表性和质量，帮助识别数据集何时可能系统性地低估或过度代表特定人群。

Implementation workflow

团队可以在数据准备流程的早期，使用 Sensitive Data Scanner 和数据健康监控来识别公平性风险，在模型开发开始之前就发现数据基础中的受保护属性和失衡情况。这解决的是数据层面的潜在偏见。然而，即使数据质量很高，偏见也可能来自模型本身，因此通过 Modeling Objectives 进行的子集评估以及 AIP Evals 都提供了系统性测试，用于检测模型在不同人口群体上表现的不平等。当在任一层面检测到偏见时，团队可以实施有针对性的缓解策略，例如重新采样、收集更多具有代表性的数据，或调整算法方法。

AI 系统不应是黑箱。相反，为建立对 AI 系统的信任，用户应尽可能理解它们是如何工作的。

Platform capabilities

AIP 提供工具帮助用户理解 AI 系统如何工作，从调试生成式 AI 的推理过程到评估传统模型的性能。

• Modeling Objectives 评估仪表板通过特征重要性分析、性能细分和评估结果，提供详细的模型可解释性，且技术与非技术相关方都能理解。
• AIP Evals支持使用默认和自定义评估库进行系统性测试与评估，使团队能够以契合其特定领域要求的方式评估模型行为。
• AIP Logic 工具可将特定任务委托给专门构建、可解释的工具，而不必完全依赖 LLM 处理，从而通过可组合、可审计的组件构建更可解释的 AI 系统。
• AIP Logic 调试视图让你可以观察基于 LLM 的系统中的思维链推理（chain-of-thought）和工具编排，展示系统如何通过向可解释组件的透明交接来委派任务和做出决策。
• Ontology 与 AIP 可观测性在 AI 工作流中提供全面的监控和调试能力，给出详细的执行轨迹、性能指标和系统行为洞察，帮助团队理解和排查其 AI 系统。

Implementation workflow

版本控制系统会在整个开发过程中自动记录模型开发的决策及其依据。对于生成式 AI 系统，AIP Logic 中的调试视图可实时展示 LLM 如何编排任务并委托给可解释的工具，而 Ontology 与 AIP 可观测性则提供全面的执行轨迹，帮助团队理解系统行为。团队可以利用 AIP Logic 工具将特定任务委托给可解释的组件，而不必完全依赖 LLM 处理，从而设计出更透明的系统。通过 AIP Evals 和 Modeling Objectives 进行的测试与评估方法，以技术团队和业务相关方都能获取的形式呈现模型性能指标，与上述能力相辅相成。

AI 系统的构建应具备在其整个生命周期中评估安全性、保密性和有效性的能力。

Platform capabilities

AIP 支持 AI 系统的安全、受控部署与持续监控，以确保其在整个生命周期中的安全性和可靠性。

• 针对传统 AI/ML 的模型部署包括直接部署和 Modeling Objectives 实时部署，两者都提供受控流程，并可根据治理需要选择自动或手动升级。
• 面向生成式 AI 的 Functions 版本管理与发布管理 通过语义化版本、向后兼容性检查和版本控制工作流，实现 AIP Logic 的受控部署。
• 回滚机制 允许在检测到问题时立即恢复到先前的模型版本，从而将模型故障或安全事件的影响降至最低。
• 全面的监控通过推理历史、系统告警和持续评估确保能快速检测到模型性能下降或安全问题。
• 访问控制与数据标记 基于用户角色、数据敏感性和地理要求提供精细的安全限制，确保 AI 系统尊重隐私和安全边界。
• 地理限制确保模型的请求和响应保持在指定司法管辖区之内，支持不同地区和法律框架下的监管合规要求。
• 静态和传输中加密是我们共同安全责任模型的核心部分，另有可在 AI 开发生命周期中全程应用的、更高级的数据保护能力。
• 容量限制使管理员能够管理 LLM 使用量，防止意外负载高峰造成的服务中断，确保 AI 工作流即使在需求多变的条件下也保持稳健和稳定。

Implementation workflow

访问控制和数据标记从一开始就确立了安全边界，地理限制则确保模型的请求和响应保持在合规的司法管辖区内。静态和传输中加密在整个 AI 开发生命周期中保护信息。模型部署和预发布函数可以在正式发布前强制执行分阶段测试流程，而容量限制可防止意外 LLM 使用高峰造成的服务中断。实时监控系统在安全、性能和运营指标上提供持续监督，回滚能力则可在检测到问题时立即响应。

AI 系统应具备记录相关开发流程、数据来源，以及用于构建模型的所有数据出处（provenance）的能力。

Platform capabilities

AIP 在 AI 开发生命周期中自动记录全面的文档和审计轨迹，从数据出处到部署决策。

• 数据血缘提供对 AI 系统所使用数据源、转换和依赖关系的完整可见性。
• 工作流血缘让你了解 AI 如何被用于支撑应用中进行决策的逻辑和操作。
• 审计日志捕获所有系统交互、模型评估和部署决策，形成用于合规与监督的全面审计轨迹。
• Modeling Objectives 文档集中汇集所有项目信息、评估结果和决策依据，以支持多方相关方协作。
• Notepad 中的文档模板可支持创建标准化、详细的模型用途、方法和局限性记录，并可与监管机构、监督者和其他相关方共享。
• 通过 Resource Management 进行 LLM 成本治理让你了解 AI 使用成本和资源消耗，使组织能够追踪、监控和管理与 LLM 部署相关的费用。

Implementation workflow

数据血缘在数据流经加工 pipeline 时自动捕获出处信息，提供对数据源和转换的完整可见性。工作流血缘让你了解 AI 如何支撑应用逻辑和决策工作流。审计日志记录所有系统交互和决策，而 LLM 成本治理追踪资源消耗和费用，为 AI 系统运营增加透明度。Notepad 中的文档模板和 Modeling Objectives 文档使团队能够创建标准化记录，集中汇集项目信息、评估结果和决策依据，且其形式适合监管审查和内部审计。

构建 AI 系统应当是一个跨学科的过程，科学家、工程师、领域专家和其他相关方需要共同协作。

Platform capabilities

AIP 通过灵活的访问控制、共享开发环境，以及不同技能水平的用户都可使用的评估框架，支持多方相关方协作。

• 基于角色的权限使组织能够配置与其治理结构相匹配的访问控制，确保在每一阶段都有适当的相关方参与。
• Code Workspaces 与 Code Repositories 提供协作式开发环境，同时支持技术与非技术贡献者。
• Workshop 与协作分析工具 支持实时协作式数据分析，让来自不同学科的相关方能够围绕共享的分析和洞察共同工作。
• 外部数据共享与协作控制在与外部伙伴安全协作的同时，维持治理监督和数据保护标准。
• 无代码、低代码和专业代码评估框架适应不同相关方的技能水平，使领域专家能够在标准技术指标之外定义自定义的评估标准。

Implementation workflow

基于角色的权限和结构化审批工作流从项目启动时就建立起清晰的协作框架。Code Workspaces 和 Code Repositories 提供技术与非技术贡献者可以共同开展 AI 开发的环境。Workshop 工具支持跨学科的实时协作分析，而外部数据共享控制则促进安全的伙伴关系。灵活的评估框架确保领域专家、合规官员和技术团队各自在开发流程中的适当节点贡献其专业所长，而不是彼此孤立地工作。

应当为负责 AI 系统不同部分的人员明确界定角色和工作流。

Platform capabilities

AIP 通过精细权限、全面的审计轨迹和结构化审批工作流，建立起清晰的责任链。

• 通过组和角色进行的精细化权限管理为 AI 开发、部署和使用的每个方面建立清晰的责任链。
• 全面的审计轨迹记录谁在何时做出了哪些决策，从而能够对系统结果进行明确问责。
• 结构化审批工作流通过检查（check）确保由适当的权威方审查并批准关键决策。
• Checkpoints支持集中式的确认与说明工作流，确保相关方在运营工作流中对 AI 建议的关键决策进行审查和签核。

Implementation workflow

精细化权限管理从一开始就建立起清晰的问责结构，界定在 AI 生命周期中谁可以执行哪些操作。完整的审计轨迹会自动记录决策者及其依据，而通过检查和 Checkpoints 实现的结构化审批工作流则建立起系统性的审查流程。Checkpoints 尤其使相关方能够确认并说明运营工作流中 AI 建议的决策。由此形成透明、可审计且可验证的责任链，而无需额外的手工追踪工作。

AI 系统应当整体上惠及个人、社会和环境。它们应增强而非取代人类决策。

Platform capabilities

AIP 通过结构化的决策支持框架和强制性的人工监督机制，确保 AI 增强而非取代人类决策。

• 基于 Ontology 的决策支持为人类与 AI 协作提供结构化框架，确保 AI 建议在能够增强而非取代人类判断的语境中呈现。
• 通过 Ontology 操作和审批流程实现的人工监督工作流确保关键决策仍由人类掌控，同时利用 AI 洞察。
• Dashboard 与可视化能力以人类可理解的形式呈现 AI 输出，使相关方能够理解复杂的分析结果，并基于 AI 建议做出明智决策。
• 结合 Checkpoints 的工作流自动化提供系统化的自动化方法，在关键决策阶段包含强制性的人工审查节点，确保适当监督的同时保持运营效率。
• 选择退出与回退机制可以内置于应用中，确保用户对 AI 辅助流程保有控制权。
• 反馈循环集成支持从人类决策中持续学习，以随时间改进 AI 建议。

Implementation workflow

基于 Ontology 的决策支持框架在结构化工作流中呈现 AI 洞察，从而保留人的能动性和决策权。通过操作和审批流程实现的人工监督工作流确保关键决策仍由人类掌控。Dashboard 与可视化能力将复杂的 AI 输出转化为能够支持明智人类判断的形式，而带人工 Checkpoints 的工作流自动化则确保在关键决策阶段有适当监督。选择退出与回退机制可被设计进应用中，确保用户对 AI 辅助流程保有控制权。反馈循环集成捕获人类决策以持续改进 AI 建议，形成一种增强而非取代人类专业能力的协作智能方法。

Palantir 的 AI 平台让负责任的 AI 走向系统化，而非临时应对。平台通过既定的工作流引导各技能水平和专业领域的用户落实负责任 AI 原则：

1. 关注完整集成的系统，而不仅是其组成工具： 从数据基础和加工 pipeline，到用户界面和人类决策工作流，整体地考虑你的 AI 系统。使用数据血缘和 Pipeline Builder 等能力来理解各组件在你的系统中如何连接。
2. 承认技术的局限： 首先清晰评估你的 AI 系统能做什么、不能做什么，以及它应被允许做什么、不应被允许做什么。在开发开始之前，采用问题优先的建模方法界定适当的范围和限制。
3. 不要解决不该解决的问题： 评估你的用例是否适合由 AI 介入。在启动开发前考虑法律、伦理和社区规范。有些问题在技术上可行，但并不适合进行数学优化。
4. 遵循合理数据科学的方法论最佳实践： 利用平台内置的评估框架、偏见检测能力和公平性评估工具。使用 Sensitive Data Scanner 识别受保护属性，采用子集评估来评估差异化影响，并遵循已确立的方法论来负责任地使用特征。
5. 让 AI 保持负责任、可问责并以人为本： 设计增强而非取代人类决策的 AI 系统。使用基于 Ontology 的决策支持、人工监督工作流和反馈循环，确保 AI 建议与人类判断相辅相成，同时通过审计轨迹和审批工作流保持清晰的问责。
6. 促进多方相关方参与： 配置与你组织治理结构相匹配的检查和审批工作流。使用 Workshop 和基于角色的权限等协作工具，确保领域专家、合规官员、技术团队和其他相关方在整个 AI 生命周期中贡献其专业所长。
7. 确保技术、治理和文化方面的意识： 将平台的技术能力（加密、访问控制、监控）与治理框架（审批工作流、审计轨迹）以及文化实践（培训、相关方参与）相结合，打造契合你组织情境的、包容性的负责任 AI 实践。

负责任的 AI 并不是对创新的约束。相反，正是它使 AI 系统足够可信，可用于关键决策。Palantir 将负责任 AI 原则融入开发生命周期的每一个方面，使组织能够构建不仅在技术上成熟、而且在伦理上健全、在运营上可靠的 AI 系统。

通过采取考虑 AI 部署完整情境的集成式方法，我们帮助用户解决其最具挑战性的问题，同时使他们能够保持最高标准的责任与治理。