python 爬虫 基本库使用urllib之urlopen(一)

我的梦境 提交于 2020-01-08 01:58:10
  • urllib是python内置的请求库。它主要包含四个模块:
  1. request :是最基本的HTTP请求模块,可以用来模拟发送请求。
  2. error:异常处理模块,如果请求出现错误,可以捕获异常,然后进行其他操作,保证程序不会意外终止。
  3. parse:工具模块,提供了很多URL处理方法,比如拆分、解析、合并等。
  4. robotparser:主要用来识别网站的robots.txt文件,然后判断哪些网站可以爬。
     
  • 使用urllib的request模块中的方法urlopen抓取python官网,这样我们想要的东西就可以提取出来了
import urllib.request

response = urllib.request.urlopen('https://www.python.org')
print(type(response))  #类型
print(response.read().decode('utf-8'))

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!