离线和实时大数据开发实战

本书从实际项目实践出发，专注、完整、系统化地讲述数据开发技术，此处的数据开发技术包括离线数据处理技术、实时数据处理技术、数据开发优化、大数据建模、数据分层体系建设等。

这是一本全面讲解数据开发技术的书籍，从实际项目实践出发，专注、完整、系统化地讲述数据开发技术，此处的数据开发技术包括离线数据处理技术、实时数据处理技术、数据开发优化、大数据建模、数据分层体系建设等。 书籍的内容分为三部分，首先介绍了数据大图和数据平台大图，阐述了数据流程、数据技术、数据相关从业者和角色，以及离线数据平台和实时数据平台的架构、技术和设计，数据管理等内容。接着，书籍详细讲述了离线数据开发，包括Hadoop原理实践、Hive原理实践、Hive优化实践、维度建模技术实践，以及Hadoop数据仓库开发实战等内容。最后，书籍深入探讨了实时数据开发，包括Storm流计算开发、Spark Streaming流计算开发、Flink流计算开发、Beam技术，以及Stream SQL实时开发实战等内容。 在书籍中，作者详细解释了数据变现的可能性，强调了数据产生的来源，以及数据仓库技术和建模的重要性。同时，也深入探讨了数据探查、数据集成、数据质量、元数据管理和数据屏蔽等数据管理技术。 在介绍离线和实时数据处理技术时，作者详细讲解了MapReduce的基本概念、体系结构和工作原理，以及Sp