• 微信公众号:美女很有趣。 工作之余,放松一下,关注即送10G+美女照片!

zookeeper及kafka集群部署

互联网 diligentman 1天前 3次浏览

Zookeeper

三台虚拟机:zookeeper1(节点1)、zookeeper2(节点2)、zookeeper3(节点3)

基础环境部署

  3个节点均修改/etc/hosts文件

  #vi /etc/hosts

172.16.51.23 zookeeper1

172.16.51.32 zookeeper2

172.16.51.41 zookeeper3

配置yum源

将gpmlall-repo上传至3个节点的/opt目录下,并将3个节点/etc/yum.repos.d目录下的文件移动到/media目录下,同时创建/etc/yum.repos.d/local.repo,写入以下内容

#mv /etc/yum.repos.d/* /media/

#vi /etc/yum.repos.d/local.repo

[gpmall]

name=gpmall

baseurl=file:///opt/gpmall-repo

gpgcheck=0

enabled=1

#yum clean all

#yum list

搭建zookeeper集群

  

3个节点均安装JDK环境

#yum install -y java-1.8.0-openjdk java-1.8.0-openjdk-devel

#yum -version

将zookeeper软件包上传至3个节点的/root目录下,并进行解压

#tar -zxvf zookeeper-3.4.14.tar.gz

修改3个节点的配置文件

Zookeeper1节点:进入zookeeper-3.4.14/conf目录下,修改zoo_sample.cfg文件为zoo.cfg,并边检文件内容如下:

#vi zoo.cfg

#grep -n '^'[a-Z] zoo.cfg

2:tickTime=2000

5:initLimit=10

8:syncLimit=5

12:dataDir=/tmp/zookeeper

14:clientPort=2181

29:server.1=172.16.51.23:2888:3888

30:server.2=172.16.51.32:2888:3888

31:server.3=172.16.51.41:2888:3888

创建myid文件

3个节点:

#mkdir /tmp/zookeeper

#vi /tmp/zookeeper/myid

  //三个节点写入文件分别对应为1、2、3

启动zookeeper服务

3个节点:

#cd /zookeeper/bin

#./zkserver.sh start

#./zkServer.sh status

配置完成后zookeeper2为leader,其他都是follower

kafka

将kafka软件版上传至3个节点的/root目录下,并解压

#tar -zxvf kafka_2.11-1.1.1.tgz

修改3个节点的配置文件

Zookeeper1:

#cd /kafka_2.11-1.1.1/config

#vi server.properties  (注释掉下面这两行)

#broker.id=0

#zookeeper.connect=localhost:2181

在配置文件底部添加以下3个配置

broker.id=1

zookeeper.connect=172.16.51.23:2181,172.16.51.32:2181,172.16.51.41:2181

listeners = PLAINTEXT://172.16.51.23:9092

  //broker.id三台机器分别对应为1、2、3

  //zookeeper.connect 三台机器对应ip地址

  //listeners 三台机器对应ip地址

3台机器启动服务

#./kafka-server-start.sh -daemon ../config/server.properties

#jps

11416 Kafka

11464 Jps

10479 QuorumPeerMain

测试服务

Zookeeper1:

#cd /kafka_2.11.1.1/bin

#./kafka-topics.sh –create –zookeeper 172.16.51.23:2181 –replication-factor 1 —partitions 1 –topic test

//如果成功的话,会输出“Created topic "test".”

  Zookeeper2:

#cd /kafka_2.11.1.1/bin

# ./kafka-topics.sh —list –zookeeper 172.16.51.32:2181

  test

Zookeeper3:

#cd /kafka_2.11.1.1/bin

#./kafka-topics.sh —list –zookeeper 172.16.51.41:2181

  test


程序员灯塔
转载请注明原文链接:zookeeper及kafka集群部署
喜欢 (0)