合 比scp更快的传输工具bbcp介绍
简介
bbcp是由SLAC(斯坦福直线加速器中心)的Andy Hanushevsky创立的点对点网络文件拷贝工具。
官网:http://www.slac.stanford.edu/~abh/bbcp/
下载:https://www.slac.stanford.edu/~abh/bbcp/bin/
文档:https://docs.nersc.gov/services/bbcp/
注意:如果你的服务器启用防火墙了,注意
需要开放 5031 端口
。例如,要从 172.16.66.65 拷贝文件到 172.16.66.66,则目标服务器上做如下规则:
1 | iptables -A INPUT -s 172.16.66.65 -p tcp --dport 5031 -j ACCEPT |
源服务器上不需要添加相应的规则。
scp是单线程拷贝的,而bbcp是实现多线程,并且采用移动窗口的机制实现,相同条件下会比较快。
如果在拷贝文件时,在远程机器使用ps -elf | grep bbcp 看。
1 2 3 | # ps -elf | grep bbcp | grep -v grep 0 S oracle 7398 7397 1 81 0 - 12251 wait 17:04 ? 00:00:00 bbcp SNK 1 S oracle 7427 7398 68 76 0 - 22495 184466 17:04 ? 00:00:13 bbcp SNK |
会有2个进程。
源端进程:
下载使用
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 | -- 下载,注意:源端和目标端都需要下载安装bbcp wget http://www.slac.stanford.edu/~abh/bbcp/bin/amd64_rhel60/bbcp -O /usr/local/bin/bbcp && chmod +x /usr/local/bin/bbcp wget https://www.slac.stanford.edu/~abh/bbcp/bin/amd64_rhel50/bbcp -O /usr/local/bin/bbcp && chmod +x /usr/local/bin/bbcp -- 从本地拷贝到远程 bbcp -v -s 8 -F -f -z -w 10m -P 5 table_0220.dmp root@192.168.243.16:/soft/ -- 从远程拷贝到本地 bbcp -v -s 8 -F -f -z -w 10m -P 5 root@192.168.60.53:/u01/rman_bk/expdp01_20211114.dmp . -- 修改端口 bbcp -v -s 8 -F -f -z -w 10m -P 5 --port 6666 /data/* root@192.168.243.16:/data/ bbcp -v -s 8 -F -f -z -w 10m -P 5 -Z 2000:3000 /data/* root@192.168.243.16:/data/ |