Flink Internals:job及其调度
这篇文章大致介绍Flink如何调度job以及JobManager是如何表示并追踪其状态的。 调度 Flink中的执行资源通过Task Slots来定义。每一个TaskManager拥有一个或多个task slots,每个slot可以执行并行任务中的一个pipeline。一个pipeline包含多个连续任务,例如第n个MapFunction和第n个ReduceFunction实例的组合。注意Flink经常并行执行连续任务:对于流处理程序十分常见,对于批处理程序也经常发生。 下图说明了这一点。设想一个程序有一个data source,一个MapFunction和一个ReduceFunction。S […]