• 微信公众号:美女很有趣。 工作之余,放松一下,关注即送10G+美女照片!

Flink-API(二)

开发技术 开发技术 3小时前 1次浏览

Flink API介绍

1.Stateful Stream Processing 最低级的抽象接口是状态化的数据流接口
2.DataStream/DataSet API  是 Flink 提供的核心 API ,DataSet 处理
有界的数据集,DataStream 处理有界或者无界的数据流。
3.Table API 
4.SQL

 

Dataflows数据流图

Flink Dataflows是由三部分组成,分别是:source、transformation、sink结束
    1.source数据源会源源不断的产生数据
    2.transformation将产生的数据进行各种业务逻辑的数据处理
    3.由sink输出到外部(console、kafka、redis、DB......)

 

下图中这段代码和流程图就是一个Dataflows

Flink-API(二)

 

 

 

flink上的Dataflow

Flink-API(二)

 

 

 

当并行度如下设置,Dataflow如下流程

  spark flink
  pipeline 算子链 operator chain
  stage task
  task 线程

 

 

Flink-API(二)

 

 

设置并行度如下

Flink-API(二)

 


程序员灯塔
转载请注明原文链接:Flink-API(二)
喜欢 (0)