ip代理

简介： IP有限，所以我们以前使用端口来区分不同的虚拟主机，提供不同的WEB服务。 小范围还凑活，一旦规模扩大，地址记不住了吧？端口记不住了吧？ 这个时候我们可以使用DNS，域名解析，毕竟记名字比记IP和端口好记。 但是，不想但是也得但是，我们以前使用的一部分端口是没办法解析的。 好吧，有用过IIS的同学会考虑，用虚拟主机，绑定域名即可。多个域名解析到相同的IP，使用相同的IP，由IIS根据访问域名来决定使用哪个虚拟主机来相应这个请求。 继续但是，IIS是微软家的技术，我最近部署的都是python+flask，IIS能支持么？ 不过我已经过渡到linux+docker来部署了。这时候有什么办法来实现类似IIS的虚拟主机功能呢？ 同一个IP地址，使用不同的访问域名来使用不同的主机来相应请求。 可以使用Nginx的反向代理功能。 我使用的是DOCKER技术，部署docker，部署apache，部署tomcat。 一：环境安装 1.安装linux。 2.安装docker。 3.安装docker-compose。 全略 二：docker安装Nginx 1.配置nginx.yaml version: "3" #版本3 services: #服务 nginx: #服务名 image: nginx:stable-alpine #镜像名称 privileged: true #高级权限 tty:

很多时候，如果要多线程的爬取网页，或者是单纯的反爬，我们需要通过代理IP来进行访问。下面看看一个基本的实现方法。 代理IP的提取，网上有很多网站都提供这个服务。基本上可靠性和银子是成正比的。国内提供的免费IP基本上都是没法用的，如果要可靠的代理只能付费；国外稍微好些，有些免费IP还是比较靠谱的。 网上随便搜索了一下，找了个网页，本来还想手动爬一些对应的IP，结果发现可以直接下载现成的txt文件 http://www.thebigproxylist.com/ 下载之后，试试看用不同的代理去爬百度首页 #！/usr/bin/env python #! -*- coding:utf-8 -*- # Author: Yuan Li import re,urllib.request fp=open("c:\\temp\\thebigproxylist-17-12-20.txt",'r') lines=fp.readlines() for ip in lines: try: print("当前代理IP "+ip) proxy=urllib.request.ProxyHandler({"http":ip}) opener=urllib.request.build_opener(proxy,urllib.request.HTTPHandler) urllib.request.install