AI简介
这是一本详细解析Hadoop2.0中YARN资源管理框架的书籍。YARN是Hadoop2.0中引入的新资源管理系统,它通过Master/Slave结构,将资源管理和调度相分离,实现了对集群资源的有效管理和调度。全书分为准备篇、YARN核心设计篇、计算框架篇和高级篇四个部分,涵盖了YARN的各个方面。
在准备篇中,作者详细介绍了环境准备、获取Hadoop源代码、搭建Hadoop源代码阅读环境、Hadoop源代码组织结构、Hadoop初体验、编译及调试Hadoop源代码等内容,为后续的学习打下基础。
在YARN核心设计篇中,作者深入分析了YARN基础库、YARN应用程序设计方法、ResourceManager剖析、资源调度器以及NodeManager剖析等内容,揭示了YARN的设计理念和基本架构。
在计算框架篇中,作者分别介绍了离线计算框架MapReduce、DAG计算框架Tez、实时/内存计算框架Storm/Spark等内容,为读者展示了YARN上各种计算框架的实现细节。
在高级篇中,作者详细剖析了Facebook Corona和Apache Mesos等类YARN的开源资源管理