• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:mapreduce

开发技术

俯瞰 Java 服务端开发

俯瞰 Java 服务端开发
原文首发于 github ,欢迎 star 。Java 服务端开发是一个非常宽广的领域,要概括其全貌,即使是几本书也讲不完,该文将会提到许多的技术及工具,但不会深入去讲解,旨在以一个俯瞰的视角去探寻这片领域。 ……继续阅读 »

开发技术 2天前 12浏览 0个赞

开发技术

大数据平台Hadoop集群搭建

大数据平台Hadoop集群搭建
  一、概念  Hadoop是由java语言编写的,在分布式服务器集群上存储海量数据并运行分布式分析应用的开源框架,其核心部件是HDFS与MapReduce。HDFS是一个分布式文件系统,类似mogilefs,但又不同于mogilefs,hdfs由存放文件元数据信息的namenode和存放数据的服务器datanode组成;hdfs它不同于mogilefs,h……继续阅读 »

开发技术 2天前 10浏览 0个赞

开发技术

【大数据云原生系列】大数据系统云原生渐进式演进最佳实践

【大数据云原生系列】大数据系统云原生渐进式演进最佳实践
随着云原生概念的兴起,越来越多的企业投身于云原生转型的浪潮,以解决传统应用面临的弹性能力不足、资源利用率较低、迭代周期较长等问题。通过云原生技术(如容器,不可变基础设施和声明式API等),使得企业在公有云、私有云和混合云等云环境构建和运行应用变得更加容易,更能充分利用云环境的优势,加速了企业应用迭代、降低资源成本、提高系统容错性和资源弹性。 ……继续阅读 »

开发技术 1周前 (09-21) 21浏览 0个赞

开发技术

Prometheus Metrics 设计的最佳实践和应用实例,看这篇够了!

Prometheus Metrics 设计的最佳实践和应用实例,看这篇够了!
Prometheus 是一个开源的监控解决方案,部署简单易使用,难点在于如何设计符合特定需求的 Metrics 去全面高效地反映系统实时状态,以助力故障问题的发现与定位。本文即基于最佳实践的 Metrics 设计方法,结合具体的场景实例——TKE 的网络组件 IPAMD 的内部监控,以个人实践经验谈一谈如何设计和实现适合的、能够更好反映系统实时状态的监控指标……继续阅读 »

开发技术 2周前 (09-17) 24浏览 0个赞

开发技术

什么是Lambda架构

什么是Lambda架构
一、Lambda架构需求 Lambda架构背后的需求是由于MR架构的延迟问题。MR虽然实现了分布式、可扩展数据处理系统的目的,但是在处理数据时延迟比较严重。实际上如果内存和CPU足够强大,MR也可以实现近实时运算,但实际业务环境并非如此,因此我们需要权衡,选择实时处理和批处理所需要数据量和恰当的资源。 ……继续阅读 »

开发技术 2周前 (09-15) 23浏览 0个赞

开发技术

大数据简介,技术体系分类整理

大数据简介,技术体系分类整理
本文源码:GitHub·点这里 || GitEE·点这里大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术则主要用来解决海量数据的存储和分析。 ……继续阅读 »

开发技术 2周前 (09-14) 14浏览 0个赞

开发技术

【面试题】大数据开发第1轮面试

【面试题】大数据开发第1轮面试
面试总结:小文件的产生原因 1) 数据本身的特点:比如我们在 HDFS 上存储大量的图片、短视频、短音频等文件,这些文件本身较小,达不到一个block的大小,而且数量众多。 2) MapReduce产生:例如使用查询一张含有海量数据的表,然后存储在另外一张表中,而这个查询只有简单的过滤条件(比如 select * from iteblog where fro……继续阅读 »

开发技术 1个月前 (08-29) 109浏览 0个赞

开发技术

mr原理简单分析

mr原理简单分析
     又是一个周末一天一天的过的好快,今天的任务干啥呢,索引总结一些mr吧,因为前两天有面试问过我?我当时也是简单说了一下,毕竟现在写mr程序的应该很少很少了,废话不说了,结合官网和自己理解写起。 ……继续阅读 »

开发技术 1个月前 (08-23) 34浏览 0个赞