• 微信公众号:美女很有趣。 工作之余,放松一下,关注即送10G+美女照片!

hadoop伪集群搭建

开发技术 开发技术 5小时前 5次浏览

操作系统centos8

1、安装jdk环境

hadoop伪集群搭建

 hadoop伪集群搭建

 

 

 2、安装hadoop3.1.3和配置环境

链接:https://pan.baidu.com/s/1Hbo39A1-GagIkqtJByenpA
提取码:8epv
hadoop伪集群搭建

 

 

 hadoop伪集群搭建

 

 

 3、准备一个hadoop用户

创建自定义组(组在用户之前创建)hadoop

hadoop伪集群搭建

 

 

 查看组信息:

hadoop伪集群搭建

hadoop伪集群搭建

 

 

 创建自定义的用户名hadoop,并设置登录密码

hadoop伪集群搭建

 

 

hadoop伪集群搭建

 

 

 查看用户名信息

hadoop伪集群搭建

 

 

 hadoop伪集群搭建

 

 

 4、给刚创建的用户赋root权限

先修改sudoers配置文件权限

hadoop伪集群搭建

 

 

 赋640权限

修改配置文件,改完之后将权限恢复为440

hadoop伪集群搭建

 

 

 5、用root账号修改hostname

hadoop伪集群搭建

 

 

 永久修改Hostname

hadoop伪集群搭建

 

 

 hadoop伪集群搭建

 

 

 6、配置映射

vim /etc/hosts

前面是你服务器的Ip

hadoop伪集群搭建

 

 

 7、配置ssh(自己免密登录自己)hdfs环境必须

hadoop伪集群搭建

 

 

 这里ssh登录自己需要输入密码

yum install openssh-server -y

查看sshd状态

hadoop伪集群搭建

 

 

生成公钥和私钥对,通过rsa非对称加密,-C是注释 (这里其实应该在hadoop用户下操作)

hadoop伪集群搭建

 

 

 将公钥发送给需要免密登录的服务器,这里是本机hadoop伪集群搭建

 

 

 测试

hadoop伪集群搭建

 

 

 8、为了方便后面hadoop用非root用户hadoop安装,将hadoop安装路径赋权限,修改用户。hadoop伪集群搭建

 hadoop伪集群搭建

 

9、修改hadoop配置

1)修改hadoop-env.sh文件

这款里配置jdk和hadoop配置文件绝对路径,防止多个jdk或者hadoop路径找不到

hadoop伪集群搭建

 

 

 hadoop伪集群搭建

 

 

 2)修改core-site.xml文件

创建tmp存放hadoop产生的文件

hadoop伪集群搭建

 

 

 3)修改hdfs-site.xml文件

hadoop伪集群搭建

 

 

 4)修改mapred-site.xml

hadoop伪集群搭建

 

 

 5)修改yarn-site.xml ()

hadoop伪集群搭建

 

 

 6)修改workers内容(配置从节点的主机名或ip地址)

改为hadoop

10、启动hadoop

1)初始化namenode

hadoop伪集群搭建

 

 

 hadoop伪集群搭建

 

 

 2)启动Hdfs(这里用hadoop这个用户启动)

这里可能出现的错误:可能hadoop的执行文件的权限不够,也可能hadoop不是用非root用户启动,还可能ssh非对称加密没有在hadoop用户下生成

hadoop伪集群搭建

 

 

 3)启动yarn

hadoop伪集群搭建

 

 

 11、检测启动的hdfs和yarn(这里服务器需要开放端口)

11637   resourcemanager

11734   ndoemanager

11241  datanode

11146  namenode

12075  jps

11436  secondarynamenode

 


程序员灯塔
转载请注明原文链接:hadoop伪集群搭建
喜欢 (0)