httpbin

点击“ python编程军火库 ”，“置顶”公众号 重磅干货，第一时间送达 大型fastapi项目实战 高并发请求神器之aiohttp(上) [建议收藏] aiohttp介绍及安装 1.背景介绍 2.aiohttp 是什么 3.aiohttp 核心功能 4.aiohttp 库安装 aoihttp 业务核心功能 1. 发起 get 请求 2. 发起 post 请求 3. 向 url 中传递参数 4. 向目标服务器上传文件 5. 设置请求超时 aoihttp 爬虫核心功能 1. 自定义cookie 2. 在多个请求之间共享cookie 3. 自定义请求头 4. SSL验证警告问题 5. 代理问题 aoihttp 连接池 1.使用连接器 2.限制连接池的容量 小结： 大型fastapi项目实战 高并发请求神器之aiohttp(上) [建议收藏] aiohttp介绍及安装 1.背景介绍 在 Python 众多的 HTTP 客户端中，最有名的莫过于 requests、aiohttp 和 httpx。在不借助其他第三方库的情况下，requests 只能发送同步请求；aiohttp 只能发送异步请求；httpx 既能发送同步请求，又能发送异步请求。在并发量大的情况下，如何高效的处理数据，异步是我们的优选，今天我们主要详解的是在生产环境广泛使用的 aiohttp。 2.aiohttp 是什么

爬虫之requests 库的基本用法 基本请求： requests库提供了http所有的基本请求方式。例如 r = requests.post( " http://httpbin.org/post " ) r = requests.put( " http://httpbin.org/put " ) r = requests.delete( " http://httpbin.org/delete " ) r = requests.head( " http://httpbin.org/get " ) r = requests.options( " http://httpbin.org/get " ) 基本GET请求 最基本的GET请求可以直接用get方法 r = requests.get( " http://httpbin.org/get " ) 如果想要加参数，可以利用 params 参数 import requests payload = { ' key1 ' : ' value1 ' , ' key2 ' : ' value2 ' } r = requests.get( " http://httpbin.org/get " , params= payload) print r.url 结果： http://httpbin.org/get?key1=value1&key2

1. asyncio 1.1asyncio/await 用法 async/await 是 python3.5中新加入的特性， 将异步从原来的yield 写法中解放出来，变得更加直观。 在3.5之前，如果想要使用异步，主要使用yield语法。举例如下： import asyncio @asyncio.coroutine # 修饰符，等同于 asyncio.coroutine(hello()) def hello(): print ( ' Hello world! (%s) ' % threading.currentThread()) yield from asyncio.sleep(1) # 执行到这一步以后，直接切换到下一个任务，等到一秒后再切回来 print ( ' Hello again! (%s) ' % threading.currentThread()) loop = asyncio.get_event_loop() tasks = [hello(), hello()] loop.run_until_complete(asyncio.wait(tasks)) loop.close() 引入了async/await以后，hello()可以写成这样： async def hello(): print ( " Hello world! " ) r = await asyncio

转自：https://blog.csdn.net/shanzhizi/article/details/50903748 Requests 是用 Python 语言编写，基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库。它比 urllib 更加方便，可以节约我们大量的工作，完全满足 HTTP 测试需求。Requests 的哲学是以 PEP 20 的习语为中心开发的，所以它比 urllib 更加 Pythoner。更重要的一点是它支持 Python3 哦！ Beautiful is better than ugly.(美丽优于丑陋) Explicit is better than implicit.(清楚优于含糊) Simple is better than complex.(简单优于复杂) Complex is better than complicated.(复杂优于繁琐) Readability counts.(重要的是可读性) 一、安装 Requests 通过pip安装 pip install requests 或者，下载代码后安装： $ git clone git: // github.com/kennethreitz/requests.git $ cd requests $ python setup.py install 再懒一点

1、模块说明 requests是使用Apache2 licensed 许可证的HTTP库。 用python编写。 比urllib2模块更简洁。 Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。 在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。 现代，国际化，友好。 requests会自动实现持久连接keep-alive 2、基础入门 1）导入模块 import requests 2）发送请求的简洁 　　示例代码：获取一个网页（个人github） import requests r = requests.get( ' https://github.com/Ranxf ' ) # 最基本的不带参数的get请求 r1 = requests.get(url= ' http://dict.baidu.com/s ' , params={ ' wd ' : ' python ' }) # 带参数的get请求 我们就可以使用该方式使用以下各种方法 1 requests.get(‘https://github.com/timeline.json’) # GET请求 2 requests

人生苦短，我用 Python 前文传送门： 小白学 Python 爬虫（1）：开篇 小白学 Python 爬虫（2）：前置准备（一）基本类库的安装 小白学 Python 爬虫（3）：前置准备（二）Linux基础入门 小白学 Python 爬虫（4）：前置准备（三）Docker基础入门 小白学 Python 爬虫（5）：前置准备（四）数据库基础 小白学 Python 爬虫（6）：前置准备（五）爬虫框架的安装 小白学 Python 爬虫（7）：HTTP 基础 小白学 Python 爬虫（8）：网页基础 小白学 Python 爬虫（9）：爬虫基础 小白学 Python 爬虫（10）：Session 和 Cookies 小白学 Python 爬虫（11）：urllib 基础使用（一） 小白学 Python 爬虫（12）：urllib 基础使用（二） 小白学 Python 爬虫（13）：urllib 基础使用（三） 小白学 Python 爬虫（14）：urllib 基础使用（四） 小白学 Python 爬虫（15）：urllib 基础使用（五） 小白学 Python 爬虫（16）：urllib 实战之爬取妹子图 小白学 Python 爬虫（17）：Requests 基础使用 超时设置 前面我们在介绍 urllib 的时候也介绍过超时，我们现在来看下在 Requests 中的超时应该怎么写。

urllib包 urllib是一个包含几个模块来处理请求的库。 分别是： urllib.request 发送http请求 urllib.error 处理请求过程中,出现的异常。 urllib.parse 解析url urllib.robotparser 解析robots.txt 文件 urllib.request urllib当中使用最多的模块,涉及请求，响应，浏览器模拟，代理，cookie等功能。 1. 快速请求 urlopen返回对象提供一些基本方法： read 返回文本数据 info 服务器返回的头信息 getcode 状态码 geturl 请求的url request.urlopen(url, data=None, timeout=10 ) # url: 需要打开的网址 # data：Post提交的数据 # timeout：设置网站的访问超时时间 from urllib import request import ssl # 解决某些环境下报<urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed ssl._create_default_https_context = ssl._create_unverified_context url = ' https://www.jianshu

爬取抖音的热门音乐 这个就相对来说简单一点，这是代码运行的结果 获取音乐的网址https://kuaiyinshi.com/hot/music/?source=dou-yin&page=1 打开该网页F12,F5刷新 做义工只需要以上的数据 根据beautifulsoup去获取,直接上代码 headers = { 'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36' } # 保存路径 save_path = "G: \\ Music \\ douyin \\ " url = "https://kuaiyinshi.com/hot/music/?source=dou-yin&page=1" # 获取响应 res = requests.get(url , headers =headers) # 使用 beautifulsoup 解析 soup = BeautifulSoup(res.text , 'lxml' ) # 选择标签获取最大页数 max_page = soup.select( 'li.page-item > a' )[- 2 ].text # 循环请求 for page

导入 httpx In [25]: import httpx 获取一个网页 In [26]: r = httpx.get("https://httpbin.org/get") In [27]: r Out[27]: <Response [200 OK]> 同样,发送 HTTP POST 请求: In [28]: r = httpx.post("https://httpbin.org/post", data={"key": "value"}) In [29]: r Out[29]: <Response [200 OK]> PUT,DELETE,HEAD和OPTIONS请求都遵循相同的方式: In [35]: r = httpx.put("https://httpbin.org/put", data={"key": "value"}) In [36]: r = httpx.delete("https://httpbin.org/delete") In [37]: r = httpx.head("https://httpbin.org/get") In [38]: r = httpx.options("https://httpbin.org/get") 在 URL 中传递参数 在请求URL中传递查询参数,请使用 params 关键字 In [41]: r = httpx.get(

1. aiohttp安装 pip3 install aiohttp 1.1. 基本请求用法 async with aiohttp.get('https://github.com') as r: await r.text() 其中r.text(), 可以在括号中指定解码方式，编码方式，例如 await resp.text(encoding='utf-8') 或者也可以选择不编码，适合读取图像等，是无法编码的 await resp.read() 2.发起一个session请求 首先是导入aiohttp模块： import aiohttp 然后我们试着获取一个web源码，这里以GitHub的公共Time-line页面为例: async with aiohttp.ClientSession() as session: async with session.get('https://api.github.com/events') as resp: print(resp.status) print(await resp.text()) 上面的代码中，我们创建了一个 ClientSession 对象命名为session，然后通过session的get方法得到一个 ClientResponse 对象，命名为resp，get方法中传入了一个必须的参数url，就是要获得源码的http url