东方财经财富号爬虫流程(4) -- ip 代理池组件

组件

ip 代理组件作为一个单独的公共模块方便复用：

ip 代理对象

将每一个 ip 代理抽象为一个类：

ProxyPool

初始化

爬取

将 爬取 ip 的实现委托给 proxy_strategy （GetProxyStrategy 类的实例）。

爬取并且定期的健康检查

随机选取可用 ip

GetProxyStrategy

真正解析网站获取 ip 的类。 如果我们买了自己的 ip 代理，可以替换掉这里。 具体看代码吧，这里不再截图。

加入中间件

在 middlewares 中加入代理中间件：

更新时间： 2019-12-19

来源：CSDN

作者：furuiyang_

链接：https://blog.csdn.net/Enjolras_fuu/article/details/103609620