• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

Spark3.0分布,Structured Streaming UI登场

开发技术 开发技术 3周前 (06-21) 16次浏览

Spark3.0分布,Structured Streaming UI登场

近日,在Spark开源十周年之际,Spark3.0发布了,这个版本大家也是期盼已久。登录Spark官网,最新的版本已经是3.0。而且不出意外,对于Structured Streaming进行了再一次的加强,这样Spark和Flink在实时计算领域的竞争,恐怕会愈演愈烈。

Spark3.0分布,Structured Streaming UI登场

Spark 3.0 主要的新特性如下:

  • 相比于Spark2.4,性能提升了2倍,主要体现在自适应查询执行,动态分区修剪等方面。
  • Pandas API改动,包括Python类型的提示和UDF函数。
  • 对于PySpark的异常处理进行了增强。
  • 新的Structured Streaming UI页面。
  • 而且解决了大量Jira问题。

Structured Streaming最初于Spark 2.0引入,并且停止了SparkStreaming的更新,很明显Structured Streaming的出现是为了在实时计算领域可以与对水印,窗口等支持更好的Flink一战。

3.0版本添加Structured Streaming的专用UI,可以方便的查看流作业的执行信息。

Spark3.0分布,Structured Streaming UI登场

Spark3.0分布,Structured Streaming UI登场

虽然与Flink比起来,Structured Streaming还有很长的路要走,但是可以期待Spark 3.0版本对于Structured Streaming的持续加强。

更多实时数据分析相关博文与科技资讯,欢迎关注 “实时流式计算”

Spark3.0分布,Structured Streaming UI登场


喜欢 (0)