Data connectivity & integration（数据连接与集成）总览

Foundry 提供一套高度可配置的数据连接与集成工具，能力远超常见的 ETL（抽取-转换-加载）或 ELT（抽取-加载-转换）方案。Foundry 的设计目标是让数据集成的成本随时间下降 —— 通过一整套丰富的能力，成为数据团队的"力量倍增器"。通用云服务只为基础管道和实验提供存储与计算，而要管理、交付和校验支撑关键运营的数据集，还需要许多额外的能力层。Foundry 的定位，就是为世界上最复杂的环境充当数据集成的骨干。

这一切始于一个可扩展的数据连接框架，它能与所有类型的源系统建立连接 —— 结构化的、非结构化的、半结构化的 —— 并支持所有关键的数据传输方式，比如批量、微批量或流式。这套能力与平台的数据转换和数据管理功能打通，涵盖数据版本的完整血缘、用于协同管理数据抽取的细粒度安全控制，以及数据同步配置的分支管理。

进一步了解如何在 Foundry 中连接数据。

在数据转换方面，Foundry 提供了一个可扩展、可伸缩的"数据构建系统"，利用多模态计算产出输出数据集。Foundry 与计算引擎解耦的 "Build" 框架提供了完全集成的安全与数据血缘，并且允许混用第三方计算运行时。此外，Foundry 还内置了一整套数据转换编写、变更管理、数据质量、管道调度与元数据探查能力，它们协同工作，为数据工程师提供一个"任务控制台"。

进一步了解如何用 Foundry 做数据转换。

Foundry 的管道管理能力把变更管理、数据质量和数据加载功能组合在一起。

Pipeline Builder 应用让数据管道又快又灵活地交付，同时保证健壮性与安全性。进一步了解 Pipeline Builder。

数据工程师可以为生产管道定义严格的发布流程，包括健康检查 —— 确保只有完全合规的数据才会被部署到生产环境。一旦发现问题，平台会给出针对所发现差异的诊断信息。

诊断信息既可以在 Foundry 内置的分析和建模工具里查看，任何通过 REST API 或其他接口访问输出结果的第三方工具也能获取。

进一步了解如何在 Foundry 中维护和管理管道。