快餐100微信-同城空降官方网站入口,附近约一泡50元,51品茶一品阁

关于我们

质量为本、客户为根、勇于拼搏、务实创新

< 返回新闻公共列表

linux下如何实现快速拷贝大文件

发布时间：2020/6/6 21:39:20
香港云服务器

拷贝数据

远程拷贝数据的时候，我们一般使用rsync命令，但是如果拷贝大量的小文件，会导致rsync的传输速度慢。使用tar pv lz4打包压缩传输，可以解决这问题，使用这个方法，等同于使用scp、rsync传输大文件。

实测，使用rsync传输1200G，单个文件大小为几十KB~2GB,千兆网卡，需要同时跑6个rsync才能把带宽跑满，每个速度20MB左右，速度波动大。每分钟可以拷贝4.5GB左右。

但是，使用tar pv lz4，跑一个就可以了，而且速度波动小。每分钟可以拷贝6.8GB左右。

rsync使用例子

rsync安装：yum install -y rsync

          1
          2
          3
          4
          5
          6
          7
          8
          9
          10
          11
          12
          13
          14
          15
          16
          # 推送
          [root@vm5 ~]# rsync -auvzP -e "ssh -p22" mssh.tar.gz root@192.168.176.11:/data/
          sending incremental file list