Spark大数据分析实战

本书作为Spark的入门书，从Spark核心编程语言Scala讲起，涵盖当前Spark主流的开发组件。以实操为主，深入讲解每一个操作步骤，包括Spark RDD离线数据处理、Spark SQL快速结构化数据处理、Spark Streaming实时数据处理，同时包括案例讲解、源码剖析、常用Shell命令和Java API详解。即使没有任何Spark基础的读者也可以对照书中的步骤成功搭建属于自己的Spark集群，是一本真正的实操指南书籍。本书可作为大数据开发人员的随身手册，也可作为Spark新手入门的指导书籍，以及大数据从业者的参考用书。

这是一本专注于Spark大数据处理技术的入门书籍，它从Scala编程语言基础讲起，逐步深入，涵盖了当前Spark主流的开发组件。本书以实操为主，深入讲解每一个操作步骤，包括Spark RDD离线数据处理、Spark SQL快速结构化数据处理、Spark Streaming实时数据处理，同时包括案例讲解、源码剖析、常用Shell命令和Java API详解。 首先，本书从Scala集合与函数开始，讲解了Scala编程中非常重要的两个概念。Scala集合是一系列元素的有序集合，包括List、Set、Map等，它们提供了丰富的操作方法，如索引、切片、交集、并集、查找、添加、删除等。Scala函数是一等公民，可以赋值给变量、作为参数传递和作为返回值。函数定义使用"def"关键字，可以有参数、返回值和副作用。函数调用可以像其他语言一样，将函数作为参数传递给其他函数，也可以作为返回值从其他函数返回。 其次，本书详细介绍了Spark RDD的算子使用。Spark RDD的算子使用主要涉及到转化算子和行动算子。转化算子用于对RDD进行转换，创建一个新的RDD，而行动算子用于触发一个计算，并产生一个结