• 微信公众号:美女很有趣。 工作之余,放松一下,关注即送10G+美女照片!

Shell 分发脚本

开发技术 开发技术 5小时前 1次浏览

目录
  • Shell分发脚本
    • 原理
      • rsync命令分析
        • 特点
        • 基本语法
    • 实现
      • 需求
      • 环境变量
      • 脚本实现
      • 知识点
        • 获得当前路径的目录dirname
        • 获得当前路径的文件名basename
        • shell远程执行命令
        • mkdir目录存在不报错

Shell分发脚本

原理

在集群中,我们经常会有此需求:循环复制文件到所有节点的相同目录下,不用一个节点一个节点单独使用命令,提高效率。

核心思想
rsync上进行封装

rsync命令分析

特点

rsync远程同步工具
rsync主要用于备份和镜像。具有速度快、避免复制相同的内容和支持符号链接的优点。

rsync和scp区别
rsync:速度更快,只更新差异文件,第一次同步 = scp。
scp:复制所有的文件。

基本语法

rsync -av(选择参数) 要拷贝的文件路径 目的用户@主机:目的路径

-a 归档拷贝
-v 显示复制过程
-r 对子目录以递归模式处理

实现

需求

循环复制文件(这里只针对文件)到所有节点的相同目录下

命令:xsync 要同步的文件名称

这里就需要在脚本中添加集群中节点,还有一种做法是可以通过在命令中传需要该文件的节点来传文件,还可以通过传参来确定是复制文件还是复制目录等。

这里我们就做最简单的实现,在脚本中添加集群中节点。在后续的使用中如果有其他需求,再在此基础上做改进。

使用rsync 实现需求

rsync -av /opt/module/ ranan@hadoop103:/opt/module

所以我们需要获得当前的路径,当前的用户名及需要传递的主机名

环境变量

期望脚本在任何路径都能使用

脚本放在声明了全局环境变量的路径下

可以通过 echo $PATH 查看声明了全局环境变量的路径

脚本实现

#指定bash解析器
#!/bin/bash

#1. $# 获得参数个数
# 判断参数是否小于1,-lt	(less than)小于,至少需要传送的文件
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
# 对102,103,104都进行分发
for host in hadoop102 hadoop103 hadoop104
do
   # $host使用host变量
   echo ====================  $host  ====================
   #3.  $@代表命令行中所有的参数,也就是需要传送的文件,可以是多个
   for file in $@
   do

        #4. 判断文件是否存在 -e 文件存在(existence)
        if [ -e $file ]
            then
                #5. 获取父目录,常用命令
		# dirname 获取指定路径所在的目录 ,如 dirname /home/xu 结果为 /home。
		# $返回该命令的结果
		# pwd -P:如果目录是链接时, 显示出实际路径,而非使用连接(link)路径。
                # $(command) 等价于 `command`  shell扫描一遍命令行,发现了$(command)结构,便将$(command)中的command执行一次,得到其标准输出,
                pdir=$(cd -P $(dirname $file); pwd)


                #6. 获取当前文件的名称
                fname=$(basename $file)
                # 先创建目录,防止传文件时,路径不存在
		#ssh xxx.xxx.xxx.xxx "命令",远程执行命令
		#mkdir -p递归创建目录,即使上级目录不存在,会按目录层级自动创建目录
		# -p 目录已存在时不会报错
                ssh $host "mkdir -p $pdir"
                rsync -av $pdir/$fname $host:$pdir
            # 如果不存在
            else
                echo $file does not exists!
        fi
    done
done

知识点

获得当前路径的目录dirname

pdir=$(cd -P $(dirname $file); pwd)

$file 获取当前路径所在的目录 ,如 dirname /home/xu 结果为 /home。
$ 返回该命令的结果
pwd -P:如果目录是链接时,显示出实际路径,而非使用连接(link)路径。
cd -P:如果目录是链接时,切换到实际路径的目录。

获得当前路径的文件名basename

basename命令格式:
basename [pathname] [suffix]
basename [string] [suffix]

suffix为后缀,如果suffix被指定了,basename会将pathname或string中的suffix去掉。
示例:

$ basename /tmp/test/file.txt
file.txt
$ basename /tmp/test/file.txt .txt
file

shell远程执行命令

ssh ranan@xxx.xxx.xxx.xxx "pwd; cat hello.txt" //远程执行两条命令,用户名ranan
ssh xxx.xxx.xxx.xxx "命令"

mkdir目录存在不报错

mkdir 目录,目录存在 mkdir的命令就会报错。
mkdir -p 创建多级目录,如果目录存在也不会报错


程序员灯塔
转载请注明原文链接:Shell 分发脚本
喜欢 (0)