Scrapy(4)spider 帮助你寻找最美小姐姐
我们都知道我们平常想下载一些漂亮的图片来装饰自己的桌面,可是找到了都是需要收费的网站,真的很恼火,所以今天小编,可能要带大家实现这么一个工具,可以用来爬取某个网站的好看的图片 兴不兴奋啊,是的超级兴奋,现在这里透漏一下,以后每天都会同时更新 《今日金融词汇》《每日一道 python 面试题》 ,敬请期待,谢谢关注, 欢迎点赞,关注,收藏三连击 ,只看,不关注,不是好汉,哈哈开玩笑 哈哈,行了我们进入主题吧 附上链接地址 https://image.so.com/ 创建项目前,我们需要来分析下网站数据,进入 首页,点击美女,我们可以知道跳转到这个页面,可以看出数据是通过 jsonp 的形式,进行 ajax 渲染的,而且每一次刷新页面这个函数都会随机变化,也就是说可能写出来的代码是具有时效性的 我们再随机点击一张图片进入看更加详细的页面, 就来到了这个页面,我们 f12 一下,可以看到数据是这样的,具有每张图片的详细信息,点击这个链接,进入 preview https://image.so.com/zjl?ch=beauty&direction=next&sn=0&pn=30&prevsn=-1 我们可以看到有图片的详细信息了,id,title,imgurl 然后我们再看看 header,里面需要哪些参数,从图上看,我们需要 ch, sn, pn 我们可以拼接出来这样一个链接