集群分发脚本

发布时间:2023年12月21日

这里主要提供集群相关远程同步文件数据的脚本。

1 scp安全拷贝

scp(secure copy)安全拷贝: 可实现服务器与服务器之间的数据拷贝

基本语法:

scp? ? ? ? ?-r? ? ? ? ?$pdir/$fname? ? ? ? ? ? ? ? ? ? ? ? ? ?$user@$host:$pdir/$fname
命令 ??? ? 递归 ?? ?要拷贝的文件路径/名称 ???? ??? ?目的地用户@主机:目的地路径/名称

2 rsync远程同步工具

rsync远程 同步工具:用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。

基本语法:
rsync ?? ?-av? ? ? ? ? ? ?$pdir/$fname? ? ? ? ? ? ? ? ? ? ?$user@$host:$pdir/$fname
命令 ?? ?选项参数 ?? ?要拷贝的文件路径/名称 ??? 目的地用户@主机:目的地路径/名称

备注:-a为归档拷贝, -v为显示复制过程。

rsync和scp区别:

用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文件都复制过去。

3 集群分布脚本

需求:循环复制文件到所有的节点相同目录下
脚本命令:xsync 要同步的文件名

(1)在/bin目录下创建xsync文件,以便全局调用

?[root@hadoop100 ~]$ cd bin
?[root@hadoop100 bin]$ vim xsync

?在该文件下编写如下代码:

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
        echo Not Enough Arguement!
        exit;
fi

#2. 遍历集群所有机器(这里hadoop101、hadoop101、hadoop101为集群的几台服务器域名)
for host in hadoop100 hadoop101 hadoop102
do
        echo ==================== $host ====================
        #3. 遍历所有目录,挨个发送
        for file in $@
        do
                #4. 判断文件是否存在
                if [ -e $file ]
                then
                        #5. 获取父目录
                        pdir=$(cd -P $(dirname $file); pwd)

                        #6. 获取当前文件的名称
                        fname=$(basename $file)
                        ssh $host "mkdir -p $pdir"
                        rsync -av $pdir/$fname $host:$pdir
                else
                        echo $file does not exists!
                fi
        done
done

(2)修改脚本xsync具有执行权限

[root@hadoop100 bin]$ chmod +x xsync

(3) 测试脚本

[root@hadoop100 bin]$ xsync /bin/xsync

即可成功同步hadoop100虚拟机上的/bin/xsync文件信息到另两台服务器上。

文章来源:https://blog.csdn.net/qq_39512532/article/details/135138861
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。