Python爬虫抓取纯静态网站及其资源 !这个项目挣了10k!
遇到的需求 前段时间需要快速做个静态展示页面,要求是响应式和较美观。由于时间较短,自己动手写的话也有点麻烦,所以就打算上网找现成的。 中途找到了几个页面发现不错,然后就开始思考怎么把页面给下载下来。\ 小编整理一套Python资料和PDF,有需要Python学习资料可以加学习群:631441315 ,反正闲着也是闲着呢,不如学点东西啦~~ 由于之前还没有了解过爬虫,自然也就没有想到可以用爬虫来抓取网页内容。所以我采取的办法是: 打开chrome的控制台,进入Application选项 找到Frames选项,找到html文件,再右键Save As... 手动创建本地的js/css/images目录 依次打开Frames选项下的Images/Scripts/Stylesheets,一个文件就要右键Save As... 这个办法是我当时能想到的最好办法了。不过这种人为的办法有以下缺点: 手工操作,麻烦费时 一不小心就忘记保存哪个文件 难以处理路径之间的关系,比如一张图片a.jpg, 它在html中的引用方式是images/banner/a.jpg,这样我们以后还要手动去解决路径依赖关系 然后刚好前段时间接触了一点python,想到可以写个python爬虫来帮我自动抓取静态网站。于是就马上动手,参考相关资料等等。 下面跟大家详细分享一下写爬虫抓取静态网站的全过程。 前置知识储备