• 如果您觉得本站非常有看点,那么赶紧使用Ctrl+D 收藏吧

标签:hdfs

开发技术

Redis/Mysql/SQLite/MongoDB 数据库对比 24小时内最新

Redis/Mysql/SQLite/MongoDB 数据库对比
redis是一个key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash(哈希类型)。这些数据类型都支持push/pop(推进/弹出)、add/remove(添加/删除)及取交集并集和差集及更丰富的……继续阅读 »

开发技术 5小时前 2浏览 0个赞

开发技术

微信支付万亿日志在Hermes中的实践 24小时内最新

微信支付万亿日志在Hermes中的实践
导语 | 微信支付日志系统利用 Hermes 来实现日志的全文检索功能,自从接入以来,日志量持续增长。目前单日入库日志量已经突破万亿级,单集群日入库规模也已经突破了万亿,存储规模达 PB 级。本文将介绍微信支付日志系统在 Hermes 上的实践,希望与大家一同交流。文章作者:宋新村,腾讯大数据高级运维工程师。 ……继续阅读 »

开发技术 11小时前 1浏览 0个赞

互联网

Hive基本操作

Hive基本操作
注意: 1、load操作不会对数据做任何的转换修改操作 2、从本地linux load数据文件是复制文件的过程 3、从hdfs load数据文件是移动文件的过程 4、load操作也支持向分区表中load数据,只不过需要添加分区列的值 ……继续阅读 »

diligentman 1天前 5浏览 0个赞

互联网

基于云原生的大数据实时分析方案实践

基于云原生的大数据实时分析方案实践
大数据处理技术现今已广泛应用于各个行业,为业务解决海量存储和海量分析的需求。但数据量的爆发式增长,对数据处理能力提出了更大的挑战,同时对时效性也提出了更高的要求。实时分析已成为企业大数据分析中最关键的术语,这意味企业可将所有数据用于大数据实时分析,实现在数据接受同时即刻为企业生成分析报告,从而在第一时间作出市场判断与决策。典型的场景如电商大促和金融风控等,基……继续阅读 »

diligentman 1天前 3浏览 0个赞

互联网

Spark运行架构

Spark运行架构
废话不多说,上个图: 下面我们开始进入正题:一键三连(1)RDD:是弹性分布式数据集(Resilient Distributed Dataset)的简称,是分布式内存的一个抽象的概念,提供了一种高度受限的共享内存模型。……继续阅读 »

diligentman 4天前 4浏览 0个赞