安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。
当集群启动的时候,会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。假设我们设置的副本数(即参数dfs.replication)是5,那么在datanode上就应该有5个副本存在,假设只存在3个副本,那么比例就是3/5=0.6。在配置文件hdfs-default.xml中定义……继续阅读 »
wangting
6年前 (2017-12-19) 2483浏览
0个赞
一、什么是FSImage和EditsLog
我们知道HDFS是一个分布式文件存储系统,文件分布式存储在多个DataNode节点上。一个文件存储在哪些DataNode节点的哪些位置的元数据信息(metadata)由NameNode节点来处理。随着存储文件的增多,NameNode上存储的信息也会越来越多。那么HDFS是如何及时更新这些metadata的呢?
在H……继续阅读 »
wangting
6年前 (2017-12-19) 2154浏览
0个赞
1 mysql表结构
2 定义mysql连接信息
TABLE=data_cycle
HOST_NAME=”mysql.data.xxx.com.cn”
DB_NAME=”suda_portal_data”
USER_NAME=”suda”
PASSWD=”xxxxx”
MYSQL_ETL=”mysql -h $HOST_NAME……继续阅读 »
wangting
7年前 (2017-07-27) 3229浏览
2个赞