内容简介
全书共8章:第1章介绍Flink设计理念与基本架构;第2章介绍DataStream的设计与实现;第3章介绍运行时的核心原理与实现,包括Dispatcher、ResourceManager以及JobManager等核心组件的源码级解析和介绍;第4章介绍Flink任务提交与执行的整体流程,包括客户端实现、运行时作业执行过程、JobGraph及ExecutionGraph图转换等;第5章介绍不同的集群部署模式,包括On Yarn、On Kubernetes等;第6章介绍状态管理与容错,包括不同类型状态后端的设计与实现;第7章介绍Flink网络通信,包括RPC通信以及基于Netty实现的网络栈;第8章介绍Flink内存管理,包括MemorySegment的设计与实现等。
AI简介
这是一本深入剖析Flink分布式流处理框架的设计理念、核心架构、关键组件以及源码实现的书籍。全书共8章,涵盖了从Flink的基本架构、DataStream API的设计与实现,到运行时的核心原理与实现,再到任务提交与执行、集群部署模式、状态管理与容错、网络通信以及内存管理等多个方面。
书中详细讲解了Flink的基本架构,包括APIs & Libraries、Core和Deploy三层,并详细介绍了DataStream API的主要组成部分,如StreamExecutionEnvironment和Transformation< T > transformation。同时,书中还深入解析了运行时中的核心组件与服务,如Dispatcher、ResourceManager以及JobManager等,以及JobManager与TaskManager的协作机制。
在介绍Flink运行时集群部署模式的实现时,书中详细讲解了如何在不同的资源管理器上部署Flink集群,包括Flink On Yarn和Flink On Kubernetes的部署模式。此外,书中还详细介绍了Checkpoint机制如何