内容简介
本书分三部分展开介绍:第一部分(第1章)主要介绍了企业大数据系统的前期准备工作,包括如何构建企业大数据处理系统的软件环境和集群环境。第二部分(第2~7章)首先介绍了Spark的基本原理,Spark 2.0版本的Spark SQL、Structured Streaming原理和使用方法,以及Spark的多种优化方式;然后,介绍了Druid的基本原理、集群的搭建过程、数据摄入过程,以及在查询过程中如何实现Druid查询API;接着介绍了日志收集系统Flume的基本架构和关键组件,以及分层日志收集架构的设计与实践;最后介绍了分布式消息队列Kafka的基本架构和集群搭建过程,以及使用Java语言实现客户端API的详细过程。第三部分(第8~9章)主要介绍了企业大数据处理的两个实际应用案例,分别是基于Druid构建多维数据分析平台和基于JMX指标的监控系统。
AI简介
这是一本专注于企业级大数据处理的技术书籍。该书分为三部分展开介绍,首先介绍了企业大数据系统的前期准备工作,包括如何构建企业大数据处理系统的软件环境和集群环境。接着,书中详细介绍了Spark的基本原理,包括Spark SQL、Structured Streaming原理和使用方法,以及Spark的多种优化方式。同时,书中还深入讲解了Druid的基本原理、集群的搭建过程、数据摄入过程,以及在查询过程中如何实现Druid查询API。此外,书中还介绍了日志收集系统Flume的基本架构和关键组件,以及分层日志收集架构的设计与实践。最后,书中介绍了分布式消息队列Kafka的基本架构和集群搭建过程,以及使用Java语言实现客户端API的详细过程。
在第二部分中,书中详细介绍了Spark的架构和特性,包括Spark的概述、Spark SQL、Structured Streaming以及Spark优化等方面。同时,书中还详细介绍了Spark SQL的数据处理,包括DataFrame和DataSet两种数据结构,以及如何使用Spark SQL进行高效的数据处理。此外,书中还介绍了Druid集群部署规划,