Spark大数据分析实战

Spark大数据技术还在如火如荼地发展，Spark中国峰会的召开，各地meetup的火爆举行，开源软件Spark也因此水涨船高，很多公司已经将Spark大范围落地并且应用。Spark使用者的需求已经从最初的部署安装、运行实例，到现在越来越需要通过Spark构建丰富的数据分析应用。写一本Spark实用案例类的技术书籍，是一个持续了很久的想法。由于工作较为紧张，最初只是将参与或学习过的Spark相关案例进行总结，但是随着时间的推移，最终还是打算将其中通用的算法、系统架构以及应用场景抽象出来，并进行适当简化，也算是一种总结和分享。

这是一本深度解析Spark大数据处理框架及其相关生态系统的实战指南。本书以Spark生态系统为主线，详细介绍了Spark的核心框架、Spark SQL、Spark Streaming、GraphX、MLlib等组件的功能与应用，并探讨了如何将这些组件整合到实际的数据分析应用中。 书中首先介绍了Spark生态系统，包括Spark的核心框架、Spark SQL、Spark Streaming、GraphX、MLlib等组件的功能与应用。接着，深入讲解了Spark架构的组件与作用，包括Driver、Client、Worker、Executor、SparkContext、RDD、DAG Scheduler、TaskScheduler和SparkEnv等组件的作用。 在实战部分，本书通过Lamda架构介绍了一种将离线分析和实时分析相结合的日志分析架构，并详细介绍了如何构建日志分析流水线。此外，还介绍了如何使用Azure云平台构建数据分析应用，并通过Twitter分析应用展示了云计算在数据分析领域的应用前景。 本书还详细介绍了推荐系统在数据分析产品中的位置，以及如何构建分布式的协同过滤推荐系