• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:spark

开发技术

Spark Parquet详解 24小时内最新

Spark Parquet详解
Apache Parquet属于Hadoop生态圈的一种新型列式存储格式,既然属于Hadoop生态圈,因此也兼容大多圈内计算框架(Hadoop、Spark),另外Parquet是平台、语言无关的,这使得它的适用性很广,只要相关语言有对应支持的类库就可以用; ……继续阅读 »

开发技术 4小时前 4浏览 0个赞

开发技术

【大数据云原生系列】大数据系统云原生渐进式演进最佳实践

【大数据云原生系列】大数据系统云原生渐进式演进最佳实践
随着云原生概念的兴起,越来越多的企业投身于云原生转型的浪潮,以解决传统应用面临的弹性能力不足、资源利用率较低、迭代周期较长等问题。通过云原生技术(如容器,不可变基础设施和声明式API等),使得企业在公有云、私有云和混合云等云环境构建和运行应用变得更加容易,更能充分利用云环境的优势,加速了企业应用迭代、降低资源成本、提高系统容错性和资源弹性。 ……继续阅读 »

开发技术 1周前 (09-21) 21浏览 0个赞

开发技术

Apache Flink on K8s:四种运行模式,我该选择哪种?

Apache Flink on K8s:四种运行模式,我该选择哪种?
Apache Flink 是一个分布式流处理引擎,它提供了丰富且易用的API来处理有状态的流处理应用,并且在支持容错的前提下,高效、大规模的运行此类应用。通过支持事件时间(event-time)、计算状态(state)以及恰好一次(exactly-once)的容错保证,Flink迅速被很多公司采纳,成为了新一代的流计算处理引擎。 ……继续阅读 »

开发技术 1周前 (09-21) 15浏览 0个赞

开发技术

数据分析杂谈

数据分析杂谈
注:本文同步发布于微信公众号:stringwu的互联网杂谈 数据分析杂谈 笔者只是一个客户端工程师,不是专业的数据分析师,只是碰巧在工作中与数据打交道比较多,做过客户端的数据传输SDK,客户端无埋点SDK,写过hive脚本,也折腾过spark,也做过不同通道数据的差异分析,仅此而已。本文试图从笔者自身有限的经历中,给大家普及些数据分析的入门知识。 ……继续阅读 »

开发技术 1周前 (09-19) 16浏览 0个赞

开发技术

Prometheus Metrics 设计的最佳实践和应用实例,看这篇够了!

Prometheus Metrics 设计的最佳实践和应用实例,看这篇够了!
Prometheus 是一个开源的监控解决方案,部署简单易使用,难点在于如何设计符合特定需求的 Metrics 去全面高效地反映系统实时状态,以助力故障问题的发现与定位。本文即基于最佳实践的 Metrics 设计方法,结合具体的场景实例——TKE 的网络组件 IPAMD 的内部监控,以个人实践经验谈一谈如何设计和实现适合的、能够更好反映系统实时状态的监控指标……继续阅读 »

开发技术 2周前 (09-17) 24浏览 0个赞