urllib

1、加载urllib模块的request from urllib import request 2、相关函数： （1）urlopen函数：读取网页 webpage= request.urlopen (url，timeout=1) 【读取网页,参数timeout表示1秒之后为超时，遇到无效网页时可以跳过】 data=webpage. read() 【读取页面内容】 　　【使用webpage.read()读取的页面内容text内容为bytes-object，打印内容为b’……‘】 data=data. decode ('utf-8') 【解码】 　　【text为bytes-object，将其转换为字符串text.decode()，默认参数为空，也可使用编码方式参数，格式为decode(“gb2312”)。】 pat='<div class="name">(.*?)</div>' 　　res=re.compile(pat).findall( str(data) )【记得str(data)】 　　【无法直接使用到re.search()，使用前需要转换为string类型。res就是获取的内容】 （2）urlretrieve函数：读取网页并可以保存在本地,成为本地网页 urllib.request.urlretrieve( url , filename=" 本地文件地址//1.html" )

urllib库：用来处理网络请求的python标准库 主要包含4个模块： urllib.requests：请求模块，用来发起网络请求 urllib.parse：解析模块，用来解析url urllib.error：异常处理模块，用来处理requests引起的异常情况 urllib.robotparse：用来解析robots.txt文件 1.requests模块 主要负责构造和发起网络请求，并在其中添加headers、proxy等。利用requests模块可以模拟浏览器的请求发起过程。 1.1 请求方法urlopen "urlopen是一个简单的发送网络请求的方法，timeout设置超时，如果请求超过设置时间，则抛出异常" response = request.urlopen(url='http://www.baidu.com/get', timeout=0.1) "urlopen默认是发送get请求，当传入data参数时，则会发送post请求" response = request.urlopen(url='http://www.baidu.com/post',data=b'username=admin&password=123456') 1.2 添加请求头 "通过urllib发送的请求会有一个默认的Headers: “User-Agent”:“Python-urllib/3.6”

一、urllib 1. 访问 urllib.request.urlopen() 参数： url：需要爬取的URL地址 timeout：设置等待时间，指定时间内未得到相应时抛出异常 # 导入模块 import urllib.request url = "http://www.baidu.com/" # 向百度发起请求，得到相应对象 html = urllib.request.urlopen(url) print(html.read().decode("utf-8")) # 得到网页源代码，为str类型 print(html.status) # 得到响应状态码 2.响应方法 1、bytes = response.read() # 获取原生的网页源码 2、string = response.read().decode("utf-8") # 获取网页源码并转码 3、url = response.geturl() # 获取资源的URL 4、code = response.getcode() # 获取响应状态码 5、string.encode() # string --> bytes 6、bytes.decode() # bytes --> string 3. 包装 3.1 User-Agent urllib.request.Request() 作用：创建请求对象（包装请求，重构User