PySpark Cookbook

The PySpark Cookbook is for you if you are a Python developer looking for hands-on recipes for using the Apache Spark 2.x ecosystem in the best possible way. A thorough understanding of Python (and some familiarity with Spark) will help you get the best out of the book.

这是一本面向Python开发者的实战指南，旨在帮助读者深入理解并使用Apache Spark 2.x生态系统。本书不仅涵盖了安装Scala、安装Spark二进制文件等基本操作，还详细介绍了如何使用PySpark进行实时数据分析、结构化流处理以及解决分类问题等高级技术。 书中首先介绍了创建RDDs的概念，解释了RDD作为弹性分布式数据集，是不可变的、分区分布的只读数据集。接着，深入讲解了读取数据文件、RDD变换和行动操作等核心概念，使读者能够掌握如何对数据进行高效处理和分析。 此外，本书还详细介绍了如何使用MLlib工具包构建逻辑回归和支持向量机(SVM)等模型，以解决分类问题。同时，也介绍了如何使用GraphFrames库进行图计算，包括创建RDDs、创建图以及使用PageRank确定机场排名等高级技术。 在实时数据分析方面，本书强调了结构化流处理的重要性，并详细介绍了如何使用Spark SQL或DataFrame查询进行增量执行计划。同时，也介绍了如何使用Spark Streaming进行实时数据处理，包括使用两个终端窗口进行事件传输和接收等高级技术。