数据工程之道：设计和构建健壮的数据系统

本书介绍了数据工程生命周期，并展示如何组合运用各种云技术来满足下游数据消费者的需求。本书分为三部分：第一部分介绍了数据工程的定义、数据工程的生命周期、合理的架构设计和帮助技术选型的框架；第二部分深入介绍了数据工程生命周期的每个阶段——数据生成、存储、获取、转换和服务；第三部分讨论了数据工程的重要部分——安全和隐私。附录还介绍了与处理数据文件和评估数据系统的性能有关的序列化和压缩，以及云网络。本书适合软件工程师、数据科学家、数据工程师和数据分析师等相关技术人员阅读。

这是一本深入探讨数据工程基础与构建块、数据工程生命周期、数据架构设计原则、数据获取和存储、数据转换与建模以及数据服务的著作。这本书旨在帮助读者理解和掌握数据工程，包括数据工程的基本概念、发展历程、技术职责、生命周期、编程语言以及数据工程师的角色和面临的挑战。 这本书分为三部分：第一部分 基础和构建块，介绍了数据工程的定义、数据工程的生命周期、合理的架构设计和帮助技术选型的框架；第二部分 深入数据工程生命周期，深入介绍了数据工程生命周期的每个阶段——数据生成、存储、获取、转换和服务；第三部分 安全、隐私和数据工程的未来，讨论了数据工程的重要部分——安全和隐私。 在数据工程基础与构建块部分，作者详细阐述了数据工程的基本概念、发展历程、技术职责、生命周期、编程语言以及数据工程师的角色和面临的挑战。其中，数据工程生命周期包括生成、存储、获取、转换和服务五个阶段，这些阶段构成了数据工程生命周期的底层设计，包括安全、数据管理、DataOps、数据架构、编排和软件工程等方面。 在深入数据工程生命周期部分，作者深入探讨了数据工程生命周期的每个阶段，包括数据生成、存储、获取、转换和服务。其中，数据