Linux之――使用wget命令爬取整站

匿名 (未验证) 提交于 2019-12-02 21:56:30

转载请注明出处:https://blog.csdn.net/l1028386804/article/details/92659382

 wget -c -r -npH -k -nv http://www.baidu.com  参数说明  -c:断点续传  -r:递归下载  -np:递归下载时不搜索上层目录  -nv:显示简要信息  -nd:递归下载时不创建一层一层的目录,把所有文件下载当前文件夹中  -p:下载网页所需要的所有文件(图片,样式,js文件等)  -H:当递归时是转到外部主机下载图片或链接  -k:将绝对链接转换为相对链接,这样就可以在本地脱机浏览网页了  -L:     只扩展相对连接,该参数对于抓取指定站点很有用,可以避免向宿主主机  启用地址伪装  -user-agent="Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4482.400 QQBrowser/9.7.13001.400"

文章来源: https://blog.csdn.net/l1028386804/article/details/92659382
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!