在服务器之间传输文件

倾然丶 夕夏残阳落幕 提交于 2019-12-05 04:49:36

因为imageNet放在230节点上,如果不把数据down到其他服务器上的话,只能使用polyaxon调度跑代码,而在使用polyaxon过程中程序不知道为什么总是崩掉,猜测和读取imageNet的图片路径有关,因此想了另一个办法,把数据down下来,一开始想的是先down到本地,再上传到其他服务器上,而光光down val这个文件(4个多G)就用了1个多小时,可想而知down train这个文件,再把train和val上传到服务器一共需要耗时多久了,因此学习了scp这个命令,可以在服务器之间进行文件拷贝传输,命令是:

scp -r /home/data/plx-data/imageNet/val hyq@10.15.82.235:/home/hyq/data/imageNet

在230上运行,也就是把230上的/home/data/plx-data/imageNet/val路径下所有文件,包括val这个文件夹,拷贝到235的/home/hyq/data/imageNet路径下,但是我仍然需要在后台执行,这样的话才方便,不会因为关电脑而导致传输失败,因此使用了nohup命令,但是失败了,显示进程状态是T

nohup scp -r /home/data/plx-data/imageNet/val hyq@10.15.82.235:/home/hyq/data/imageNet &

因此换了另一种方法,

先直接用scp去跑,然后ctrl+z暂停进程,jobs查看,发现进程状态是Stopped,

然后把该进程放入后台,bg %n,n是jobs查看被暂停的进程,再次jobs查看,发现进程已经在Running了

然后使用disown -h将这个进程忽略HUP信号(不懂,猜测可能是忽略关闭服务器通信的信号)

退出登录,再次登录查看ps -ef|grep scp

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!