妹子图网站----前言
从今天开始就要撸起袖子，直接写Python爬虫了，学习语言最好的办法就是有目的的进行，所以，接下来我将用10+篇的博客，写爬图片这一件事情。希望可以做好。
为了写好爬虫，我们需要准备一个火狐浏览器，还需要准备抓包工具，抓包工具，我使用的是CentOS自带的tcpdump，加上wireshark ，这两款软件的安装和使用，建议你还是学习一下，后面我们应该会用到。
妹子图网站---- 网络请求模块requests
Python中的大量开源的模块使得编码变的特别简单，我们写爬虫第一个要了解的模块就是requests。
妹子图网站---- 安装requests
打开终端：使用命令
pip3 install requests
等待安装完毕即可使用
接下来在终端中键入如下命令
mkdir democd demotouch down.py
上面的linux命令是 创建一个名称为demo的文件夹，之后创建一个down.py文件,你也可以使用GUI工具，像操作windows一样，右键创建各种文件。
为了提高在linux上的开发效率，我们需要安装一个visual studio code 的开发工具
对于怎么安装vscode，参考官方的https://code.visualstudio.com... 有详细的说明。
对于centos则如下：
sudo rpm --import https://packages.microsoft.com/keys/microsoft.ascsudo sh -c 'echo -e "[code]\nname=Visual Studio Code\nbaseurl=https://packages.microsoft.com/yumrepos/vscode\nenabled=1\ngpgcheck=1\ngpgkey=https://packages.microsoft.com/keys/microsoft.asc" > /etc/yum.repos.d/vscode.repo'
然后用yum命令安装
yum check-updatesudo yum install code
安装成功之后，在你的CentOS中会出现如下画面
接着说我们上面的操作 ，因为我们这边是用gnome图形界面，所以后面的有些操作，我直接用windows的操作风格讲解了
打开软件>文件>打开文件>找到我们刚刚创建的down.py文件
之后，在VSCODE里面输入
import requests #导入模块def run(): #声明一个run方法print("跑码文件") #打印内容if __name__ == "__main__": #主程序入口run() #调用上面的run方法
tips:本教程不是Python3的基础入门课，所以有些编码基础，默认你懂，比如Python没有分号结尾，需要对齐格式。我会尽量把注释写的完整
按键盘上的ctrl+s保存文件，如果提示权限不足，那么按照提示输入密码即可
通过终端进入demo目录，然后输入
python3 down.py
显示如下结果，代表编译没有问题
[]跑码文件
接下来，我们开始测试requests模块是否可以使用
修改上述代码中的
import requestsdef run():response = requests.get("http://www.baidu.com")print(response.text)if __name__ == "__main__":run()
运行结果（出现下图代表你运行成功了）：
接下来，我们实际下载一张图片试试，比如下面这张图片
修改代码，在这之前，我们修改一些内容
由于每次修改文件，都提示必须管理员权限，所以你可以使用linux命令修改权限。
[root@bogon linuxboy]# chmod -R 777 demo/
import requestsdef run():response = requests.get("http://www.newsimg.cn/big201710leaderreports/xibdj20171030.jpg")with open("a.jpg","wb") as f :f.write(response.content)f.closeif __name__ == "__main__":run()
运行代码之后，发现在文件夹内部生成了一个文件
但是打开文件之后发现，这个文件并不能查阅，这代表这个文件压根没有下载下来
我们继续修改代码，因为有的服务器图片，都做了一些限制，我们可以用浏览器打开，但是使用Python代码并不能完整的下载下来。
修改代码
import requestsdef run():# 头文件，header是字典类型headers = {"Host":"www.newsimg.cn","User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.26 Safari/537.36 Core/1.63.5383.400 QQBrowser/10.0.1313.400"}response = requests.get("http://www.newsimg.cn/big201710leaderreports/xibdj20171030.jpg",headers=headers)with open("a.jpg","wb") as f :f.write(response.content)f.close()if __name__ == "__main__":run()
好了，这次在终端编译一下python文件
python3 down.py
发现图片下载下来了
我们重点查看上述代码中 requests.get部分，添加了一个headers的实参。这样我们程序就下载下来了完整的图片。
妹子图网站---- Python爬虫页面分析
有了上面这个简单的案例，我们接下来的操作就变的简单多了。爬虫是如何进行的呢？
输入域名->下载源代码->分析图片路径->下载图片
上面就是他的步骤
输入域名
我们今天要爬的网站叫做 http://www.meizitu.com/a/pure...
为啥爬取这个网站，因为好爬。
好了，接下来分析这个页面
做爬虫很重要的一点，就是你要找到分页的地方，因为有分页代表着有规律，有规律，我们就好爬了(可以做的更智能一些，输入首页网址，爬虫自己就能分析到这个网站中的所有地址)
上面图片中，我们发现了分页，那么找规律吧
使用火狐浏览器的开发者工具，发现分页规律
http://www.meizitu.com/a/pure_1.htmlhttp://www.meizitu.com/a/pure_2.htmlhttp://www.meizitu.com/a/pure_3.htmlhttp://www.meizitu.com/a/pure_4.html
好了，接下来用Python实现这部分（以下写法有部分面向对象的写法，没有基础的同学，请百度找些基础来看，不过对于想学习的你来说，这些简单极了）import requestsall_urls = [] #我们拼接好的图片集和列表路径class Spider():#构造函数，初始化数据使用def __init__(self,target_url,headers):self.target_url = target_urlself.headers = headers#获取所有的想要抓取的URLdef getUrls(self,start_page,page_num):global all_urls#循环得到URLfor i in range(start_page,page_num+1):url = self.target_url % iall_urls.append(url)if __name__ == "__main__":headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0','HOST':'www.meizitu.com'}target_url = 'http://www.meizitu.com/a/pure_%d.html' #图片集和列表规则spider = Spider(target_url,headers)spider.getUrls(1,16)print(all_urls)
上面的代码，可能需要有一定的Python基础可以看懂，不过你其实仔细看一下，就几个要点第一个是 class Spider(): 我们声明了一个类,然后我们使用 def __init__去声明一个构造函数，这些我觉得你找个教程30分钟也就学会了。
拼接URL，我们可以用很多办法，我这里用的是最直接的，字符串拼接。
注意上述代码中有一个全局的变量 all_urls 我用它来存储我们的所有分页的URL
接下来，是爬虫最核心的部分代码了
我们需要分析页面中的逻辑。首先打开 http://www.meizitu.com/a/pure... ，右键审查元素。
发现上图红色框框里面的链接
点击图片之后，发现进入一个图片详情页面，发现竟然是一组图片，那么现在的问题是
我们要解决第一步，需要在 http://www.meizitu.com/a/pure... 这种页面中爬取所有的 http://www.meizitu.com/a/5585... 这种地址
这里我们采用多线程的方式爬取（这里还用了一种设计模式，叫观察者模式）
import threading #多线程模块import re #正则表达式模块import time #时间模块
首先引入三个模块，分别是多线程，正则表达式，时间模块
新增加一个全局的变量，并且由于是多线程操作，我们需要引入线程锁
all_img_urls = [] #图片列表页面的数组g_lock = threading.Lock() #初始化一个锁
声明一个生产者的类，用来不断的获取图片详情页地址，然后添加到 all_img_urls 这个全局变量中
#生产者，负责从每个页面提取图片列表链接class Producer(threading.Thread):def run(self):headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0','HOST':'www.meizitu.com'}global all_urlswhile len(all_urls) > 0 :g_lock.acquire() #在访问all_urls的时候，需要使用锁机制page_url = all_urls.pop() #通过pop方法移除最后一个元素，并且返回该值g_lock.release() #使用完成之后及时把锁给释放，方便其他线程使用try:print("分析"+page_url)response = requests.get(page_url , headers = headers,timeout=3)all_pic_link = re.findall('<a target=\'_blank\' href="(.*?)">',response.text,re.S)global all_img_urlsg_lock.acquire() #这里还有一个锁all_img_urls += all_pic_link #这个地方注意数组的拼接，没有用append直接用的+=也算是python的一个新语法吧print(all_img_urls)g_lock.release() #释放锁time.sleep(0.5)except:pass
线程锁，在上面的代码中，当我们操作all_urls.pop()的时候，我们是不希望其他线程对他进行同时操作的，否则会出现意外，所以我们使用g_lock.acquire()锁定资源，然后使用完成之后，记住一定要立马释放g_lock.release(),否则这个资源就一直被占用着，程序无法进行下去了。
匹配网页中的URL，我使用的是正则表达式，后面我们会使用其他的办法，进行匹配。
re.findall() 方法是获取所有匹配到的内容，正则表达式，你可以找一个30分钟入门的教程，看看就行。
代码容易出错的地方，我放到了
try: except: 里面，当然，你也可以自定义错误。
如果上面的代码，都没有问题，那么我们就可以在程序入口的地方编写
for x in range(2):t = Producer()t.start()
执行程序，因为我们的Producer继承自threading.Thread类，所以，你必须要实现的一个方法是 def run 这个我相信在上面的代码中，你已经看到了。然后我们可以执行啦~~~
运行结果：
这样，图片详情页面的列表就已经被我们存储起来了。
接下来，我们需要执行这样一步操作，我想要等待图片详情页面全部获取完毕，在进行接下来的分析操作。
这里增加代码
#threads= []#开启两个线程去访问for x in range(2):t = Producer()t.start()#threads.append(t)# for tt in threads:# tt.join()print("进行到我这里了")
注释关键代码，运行如下
[linuxboy demo]$ python3 down.py分析http://www.meizitu.com/a/pure_2.html分析http://www.meizitu.com/a/pure_1.html进行到我这里了['http://www.meizitu.com/a/5585.html',
把上面的tt.join等代码注释打开
[linuxboy demo]$ python3 down.py分析http://www.meizitu.com/a/pure_2.html分析http://www.meizitu.com/a/pure_1.html['http://www.meizitu.com/a/5429.html', ......进行到我这里了
发现一个本质的区别，就是，我们由于是多线程的程序，所以，当程序跑起来之后，print("进行到我这里了")不会等到其他线程结束，就会运行到，但是当我们改造成上面的代码之后，也就是加入了关键的代码 tt.join() 那么主线程的代码会等到所以子线程运行完毕之后，在接着向下运行。这就满足了，我刚才说的，先获取到所有的图片详情页面的集合，这一条件了。
join所完成的工作就是线程同步，即主线程遇到join之后进入阻塞状态，一直等待其他的子线程执行结束之后，主线程在继续执行。这个大家在以后可能经常会碰到。
下面编写一个消费者/观察者，也就是不断关注刚才我们获取的那些图片详情页面的数组。
添加一个全局变量，用来存储获取到的图片链接
pic_links = [] #图片地址列表#消费者class Consumer(threading.Thread) :def run(self):headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0','HOST':'www.meizitu.com'}global all_img_urls #调用全局的图片详情页面的数组print("%s is running " % threading.current_thread)while len(all_img_urls) >0 :g_lock.acquire()img_url = all_img_urls.pop()g_lock.release()try:response = requests.get(img_url , headers = headers )response.encoding='gb2312' #由于我们调用的页面编码是GB2312，所以需要设置一下编码title = re.search('<title>(.*?) | 妹子图</title>',response.text).group(1)all_pic_src = re.findall('<img alt=.*?src="(.*?)" /><br />',response.text,re.S)pic_dict = {title:all_pic_src} #python字典global pic_linksg_lock.acquire()pic_links.append(pic_dict) #字典数组print(title+" 获取成功")g_lock.release()except:passtime.sleep(0.5)
看到没有，上面的代码其实和我们刚才写的极其相似，后面，我会在github上面把这部分代码修改的更加简洁一些，不过这才是第二课，后面我们的路长着呢。
代码中比较重要的一些部分，我已经使用注释写好了，大家可以直接参考。大家一定要注意我上面使用了两个正则表达式，分别用来匹配title和图片的url这个title是为了后面创建不同的文件夹使用的，所以大家注意吧。
for x in range(10):ta = Consumer()ta.start()
运行结果：
[linuxboy demo]$ python3 down.py分析http://www.meizitu.com/a/pure_2.html分析http://www.meizitu.com/a/pure_1.html['http://www.meizitu.com/a/5585.html', ......<function current_thread at 0x7f7caef851e0> is running<function current_thread at 0x7f7caef851e0> is running<function current_thread at 0x7f7caef851e0> is running<function current_thread at 0x7f7caef851e0> is running<function current_thread at 0x7f7caef851e0> is running<function current_thread at 0x7f7caef851e0> is running<function current_thread at 0x7f7caef851e0> is running<function current_thread at 0x7f7caef851e0> is running进行到我这里了<function current_thread at 0x7f7caef851e0> is running<function current_thread at 0x7f7caef851e0> is running清纯美如画，摄影师的御用麻豆 获取成功宅男女神叶梓萱近日拍摄一组火爆写真 获取成功美（bao）胸（ru）女王带来制服诱惑 获取成功每天睁开眼看到美好的你，便是幸福 获取成功可爱女孩，愿暖风呵护纯真和执着 获取成功清纯妹子如一缕阳光温暖这个冬天 获取成功 .....
是不是感觉距离成功有进了一大步
接下来就是，我们开篇提到的那个存储图片的操作了，还是同样的步骤，写一个自定义的类
class DownPic(threading.Thread) :def run(self):headers = {'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0','HOST':'mm.chinasareview.com'}while True: # 这个地方写成死循环，为的是不断监控图片链接数组是否更新global pic_links# 上锁g_lock.acquire()if len(pic_links) == 0: #如果没有图片了，就解锁# 不管什么情况，都要释放锁g_lock.release()continueelse:pic = pic_links.pop()g_lock.release()# 遍历字典列表for key,values in pic.items():path=key.rstrip("\\")is_exists=os.path.exists(path)# 判断结果if not is_exists:# 如果不存在则创建目录# 创建目录操作函数os.makedirs(path)print (path+'目录创建成功')else:# 如果目录存在则不创建，并提示目录已存在print(path+' 目录已存在')for pic in values :filename = path+"/"+pic.split('/')[-1]if os.path.exists(filename):continueelse:response = requests.get(pic,headers=headers)with open(filename,'wb') as f :f.write(response.content)f.close
我们获取图片链接之后，就需要下载了，我上面的代码是首先创建了一个之前获取到title的文件目录，然后在目录里面通过下面的代码,去创建一个文件。
涉及到文件操作，引入一个新的模块
import os #目录操作模块# 遍历字典列表for key,values in pic.items():path=key.rstrip("\\")is_exists=os.path.exists(path)# 判断结果if not is_exists:# 如果不存在则创建目录# 创建目录操作函数os.makedirs(path)print (path+'目录创建成功')else:# 如果目录存在则不创建，并提示目录已存在print(path+' 目录已存在')for pic in values :filename = path+"/"+pic.split('/')[-1]if os.path.exists(filename):continueelse:response = requests.get(pic,headers=headers)with open(filename,'wb') as f :f.write(response.content)f.close
因为我们的图片链接数组，里面存放是的字典格式，也就是下面这种格式
[{"妹子图1":["http://mm.chinasareview.com/wp-content/uploads/2016a/08/24/01.jpg","http://mm.chinasareview.com/wp-content/uploads/2016a/08/24/02.jpg"."http://mm.chinasareview.com/wp-content/uploads/2016a/08/24/03.jpg"]},{"妹子图2":["http://mm.chinasareview.com/wp-content/uploads/2016a/08/24/01.jpg","http://mm.chinasareview.com/wp-content/uploads/2016a/08/24/02.jpg"."http://mm.chinasareview.com/wp-content/uploads/2016a/08/24/03.jpg"]},{"妹子图3":["http://mm.chinasareview.com/wp-content/uploads/2016a/08/24/01.jpg","http://mm.chinasareview.com/wp-content/uploads/2016a/08/24/02.jpg"."http://mm.chinasareview.com/wp-content/uploads/2016a/08/24/03.jpg"]}]需要先循环第一层,获取title，创建目录之后，在循环第二层去下载图片，代码中，我们在修改一下，把异常处理添加上。
try:response = requests.get(pic,headers=headers)with open(filename,'wb') as f :f.write(response.content)f.closeexcept Exception as e:print(e)pass
然后在主程序中编写代码
for x in range(10):down = DownPic()down.start()
运行结果：
[linuxboy demo]$ python3 down.py分析http://www.meizitu.com/a/pure_2.html分析http://www.meizitu.com/a/pure_1.html['http://www.meizitu.com/a/5585.html', 'http://www.meizitu.com/a/5577.html', 'http://www.meizitu.com/a/5576.html', 'http://www.meizitu.com/a/5574.html', 'http://www.meizitu.com/a/5569.html', .......<function current_thread at 0x7fa5121f2268> is running<function current_thread at 0x7fa5121f2268> is running<function current_thread at 0x7fa5121f2268> is running进行到我这里了清纯妹子如一缕阳光温暖这个冬天 获取成功清纯妹子如一缕阳光温暖这个冬天目录创建成功可爱女孩，愿暖风呵护纯真和执着 获取成功可爱女孩，愿暖风呵护纯真和执着目录创建成功超美，纯纯的你与蓝蓝的天相得益彰 获取成功超美，纯纯的你与蓝蓝的天相得益彰目录创建成功美丽冻人，雪地里的跆拳道少女 获取成功五官精致的美眉，仿佛童话里的公主 获取成功有自信迷人的笑容，每天都是灿烂的 获取成功五官精致的美眉，仿佛童话里的公主目录创建成功有自信迷人的笑容，每天都是灿烂的目录创建成功清纯美如画，摄影师的御用麻豆 获取成功
文件目录下面同时出现
点开一个目录
好了，今天的一个简单的爬虫成了
最后我们在代码的头部写上
# -*- coding: UTF-8 -*-防止出现Non-ASCII character 'xe5' in file报错问题。
对于初学者想更轻松的学好Python web开发，Python爬虫技术，Python数据分析，人工智能等技术,这里也给大家准备了零基础系统的学习教程，加老师建的Python技术学习教程qq裙：245345507，免费获取。
PS：如果觉得本篇文章对您有所帮助，欢迎关注、订阅！帮忙点个 再看 转发一下 分享出去
*声明：本文于网络整理，版权归原作者所有，如来源信息有误或侵犯权益，请联系我们删除或授权事宜。
本文分享自微信公众号 - python教程（pythonjc）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
来源：oschina
链接：https://my.oschina.net/u/4581260/blog/4438215