我们的第二个例子到这里也要结束了,相对于第一个来说,这个实例更加深入,涉及到了更多的模块和方法,但是通过一步步的实践下来,你会发现这其实不难,因为我们有很多的网上的资源,你只要知道你想要做什么,你不清楚什么然后一个一个的去查就行了,这是一种获取知识的方法,方法远比知识重要,我希望大家能在拿到一个实例,一道题目,一个项目或者遇到什么问题之前,先想清楚,把大的问题分成一个个小的问题,然后解决小问题,最后再汇总成大问题的解决方案
好了,来看看我们第二个实例用到了什么新的知识
1. 为了创建保存图片的文件夹,我们引入了 os 模块
os 模块能让我们使用计算机系统中的一些命令
2. 为了实现图片下载的功能,我们引入了 urllib 模块
跟 urllib2 一样,urllib 是 python 自带的一个模块,它能被调用来实现某些功能
既然讲到这里,那我们就来说说 python 中的模块
模块是 python 中的一个很重要的概念,如果感兴趣的话,可以去查看 python 的官方文档:http://python.usyiyi.cn/python_278/tutorial/index.html
这里顺便推荐一些我使用的书籍和网站,书籍会放到网盘中并且不断更新
1. python 中文官方文档库:http://python.usyiyi.cn/
1. python 中文官方教程:http://python.usyiyi.cn/python_278/tutorial/index.html
2. 菜鸟教程网:http://www.runoob.com/python/python-tutorial.html
3. 廖雪峰python教程:http://www.liaoxuefeng.com/wiki/001374738125095c955c1e6d8bb493182103fac9270762a000
4. 书籍网盘链接:
这是我常用到的一些网站,主要用来查看python的一些基础语法,或者是一些知识概念我不是很理解的时候加深学习,有时也会作为一些拓展给有兴趣的人看,后面的学习肯定也会遇到一些好的网站,到时候我会一一贴出来
说回模块,这里我依然不想把教程里的概念搬出来,里面的东西讲得很拗口,一些专业术语会给我们的理解带来困难,我最多看10行就看不下去了,而且我觉得现在还不是时候,我们目前只需要知道我要实现什么东西,为了实现这个,我需要用到什么模块,所以用我的话来说,模块是一个能让你实现某些功能的工具集。
就拿urllib2这个模块来说,这个模块能让我实现爬取网络资源的功能,它的实现的方式是我要调用这个模块里面的一些方法,比如使用urllib2.Rquest() 方法来构造请求,使用 urllib2.urlopen() 来发送请求打开网页,这每一个方法都是一个工具,能让我实现不同的功能,所以说,这整个模块就是一个工具集
python 中的模块是非常多而且全面的,python程序实际上就是使用各种模块来实现自己想要的功能,曾经看到过一句话,大意是说,python之所以那么好用,就是由很多的模块支撑起来的,所以学python不学习这些模块的使用,相当与白学。
关于各个模块,python都会有相应的文档,包括模块的功能,里面的方法,使用的例子等等,这些完善的社区和线上资源是学习python很好的工具,大家应该多尝试学习这些文档
到目前为止,我们使用到的模块有4个,正则表达式模块 re,系统模块 os,网络模块 urllib 和 urllib2
re 和 os 模块我们这里不做过多的描述,我们主要讲一下爬虫的核心 urllib 和 urllib2 模块
来源:oschina
链接:https://my.oschina.net/u/2429887/blog/537750