Apache Spark Graph Processing

This book is for data scientists and big data developers who want to learn the processing and analyzing graph datasets at scale. Basic programming experience with Scala is assumed. Basic knowledge of Spark is assumed.

这是一本面向数据科学家和大数据开发者的专业书籍，旨在帮助读者深入理解Apache Spark及其GraphX组件在处理大规模图数据方面的强大功能。书中内容涵盖了从安装Spark并成功运行到构建不同类型的图，再到计算网络节点的度和计算图的常用指标，以及Graph数据可视化方法与应用等多个方面。 书中首先介绍了安装Spark并成功运行的过程，包括下载并安装Java Development Kit，下载并解压Spark安装包，配置Spark环境变量，以及使用Spark shell进行数据操作和图处理。接着，作者详细介绍了使用GraphX进行图处理，包括加载数据与构建图，计算网络节点的度，以及计算图的常用指标。 书中还深入探讨了Graph数据可视化方法与应用，包括如何使用GraphStream和BreezeViz库来创建和可视化图数据。此外，作者还介绍了使用结构操作符修改图的形状，创建自定义图聚合操作的方法，以及Pregel模型理解等内容。 在书的后半部分，作者详细讲解了谱聚类在音乐和歌曲推荐中的应用，谱聚类在图学习中的应用，以及社区聚类在图中的应用等内容。最后，作者还介绍了网络连接性分