内容简介
本书基于Spark2.4.X版本,以Spark商业案例实战和Spark在生产环境下几乎所有类型的性能调优为核心,以Spark内核解密为基石,对企业生产环境下的Spark商业案例与性能调优抽丝剥茧地进行剖析。全书共分4篇,内核解密篇基于Spark源码,从一个实战案例入手,循序渐进地全面解析Spark2.4.X版本的新特性及Spark内核源码;商业案例篇选取Spark开发中最具代表性的经典学习案例,在案例中综合介绍Spark的大数据技术;性能调优篇覆盖Spark在生产环境下的所有调优技术;Spark+AI解密篇讲解深度学习实践、Spark+PyTorch案例实战、Spark+TensorFlow实战以及Spark上的深度学习内核解密。
AI简介
这是一本以Spark2.4.X版本为基础,深入剖析Spark内核原理和源码,同时结合丰富的商业案例和性能调优技巧的书籍。全书分为四篇,第一篇内核解密篇,深入剖析Spark2.4.X版本的新特性及Spark内核源码;第二篇商业案例篇,选取Spark开发中最具代表性的经典学习案例,在案例中综合介绍Spark的大数据技术;第三篇性能调优篇,覆盖Spark在生产环境下的所有调优技术;第四篇Spark+AI解密篇,讲解深度学习实践、Spark+PyTorch案例实战、Spark+TensorFlow实战以及Spark上的深度学习内核解密。
在内核解密篇中,作者从一个实战案例入手,循序渐进地全面解析Spark2.4.X版本的新特性及Spark内核源码。其中,Spark 2.4开发实战体验章节,通过一个电影点评系统的实战案例,让读者体验Spark 2.4的程序代码特点。Spark算子调优最佳实践章节,主要涉及内存管理、参数调整以及资源使用等多个方面,通过实战案例讲解如何优化Spark算子。
在商业案例篇中,作者选取了多个具有代表性的商业案例,包括大数据电影点评系统、电商交互式分析系统、NBA篮球