分类目录归档:Flink学习

Flink大状态管理之:增量checkpoint

  Flink是为状态流处理而生。然而什么是状态呢?状态可以简单理解为Flink应用中算子处理数据所产生的信息,这些信息将影响后续数据的处理。 状态是大多数复杂流处理程序所必须的一项基础概念,例如: 匹配事件流中的pattern,需要将已经接受到的事件存储到状态中 每分钟的事件聚合,需要用状态来缓存待聚合事件。 通过事件流训练模型,需要用状态存储当前的模型参数。   然而在实际生产环境中,只有支持容错的状态才是有意义的。“支持容错”意味着无论是出现软件还是硬件错误,计算的最终结果总是准确的,不会出现数据丢失或者重复计算。   Flin […]