代理服务器

我们使用Nginx反相代理，虚拟主机，负载均衡 1.1. 反相代理 反向代理是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端。此时代理服务器对外就表现为一个反向代理服务器。 1.2. Nginx目录结构 解压后的目录结构 1.3. Nginx配置文件 修改配置文件： 1.4. Nginx三个命令 启动cmd命令行输入命令 三个命令 启动: start nginx.exe 停止: nginx.exe –s stop 重载: nginx.exe –s reload 启动成功：有且仅有两个线程 启动报错,查看日志文件发现80端口被占用 使用命令netstat -ano命令查看端口占用情况 发现有程序占用80端口，根据pid查看是哪个进程 打开任务管理器，根据pid查询到是eclipse的Tomcat占用80端口 停止程序即可 1.5. Nginx访问流程 来源： https://www.cnblogs.com/yuyu666/p/12650932.html

1、反向代理的作用 :反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请求，然后将请求转发给内部网络上的服务器，并将从服务器上得到的结果返回给internet上请求连接的客户端，此时代理服务器对外就表现为一个反向代理服务器。 2、 反向代理的好处： 反向代理的好处隐藏真实内部ip地址，请求先访问nginx代理服务器（外网可以访问到）,在使用nginx服务器转发到真实服务器中。 3、 反向代理的配置 ： 当客户端访问www.itchao.cn,监听端口号为80直接跳转到真实 ip服务器地址:http://127.0.0.1:8080(可以配置域名或者ip) server { listen 80; server_name www.itchao.cn; location / { proxy_pass http://127.0.0.1:8080; index index.html index.htm; } } 当客户端访问bbs.itchao.cn,监听端口号为80直接跳转到真实 ip服务器地址：http://127.0.0.1:8081 server { listen 80; server_name bbs.itchao.cn; location / { proxy_pass http://127.0.0.1:8081; index index

来源： https://www.cnblogs.com/pekit/p/12631665.html

一、关于nginx 1.1 简单认知 我们都知道nginx 是web服务器。 也知道 用户访问时通过ip和端口访问 nginx。 那么nginx 是如何 通过php 获取数据并返回数据的呢？ 1.2 代理与反向代理 1.2.1 正向代理 ： 访问google.com 如上图，因为google 被墙，我们需要vpn翻墙才能访问google.com vpn 对于“我们”来说，是可以被感知的（我们连接了vpn） vpn 对于“google服务器”来说，是不可感知的（google 只知道有http 请求过来）。 1.2.2 反向代理 如上图 ，我们访问baidu.com 的时候，baidu有一个代理服务器，通过这个代理服务器，可以做负载均衡，路由到不同的server 代理服务器 对于 “我们” 来说，是不可感知的（我们只能感知到访问的是百度的服务器，不知道中奖还有代理服务器来在负载均衡）。 代理服务器，对于“server1,server2 server3” 是可感知的（代理服务器负载均衡路由到不同的server） 1.2.3 总结 说白了：“正向”、“反向” 是相对于人的感知来说的。 人能感受到的就是正向代理，人感受不到的就是反向代理。 二、php-fpm 2.1 cgi 协议 `在说php-fpm 之前，先了解一下，什么的是cgi 2.1.1 cgi 百度百科的解释： cgi 即

偶尔我们的网络会被限制，例如看不了视频，不可以下载应用等，这中情况一般是使用局域网（LAN）时会发生的情况，针对这类情况，如何解除呢？ 下载被限制了，如何解除？要解除限制需要从代理服务器和下载客户端两方面入手。因为FTP网站限制指定的IP地址段内电脑才可以浏览，因此先要拥有访问权限，而使用代理服务器充当跳板在我看来是比较容易且可行的处理方式。针对这些限制同时使用多线程下载的FTP网站，就能使用代理加多线程下载软件的方式来攻克。 针对IP限制，我们能够用兔子动态ip，软件简单易用，高级模式下，用户可以独享固定带宽资源，光速网络体验，流畅稳定使用等，这里就不多说了。 获取代理服务器后，就能够直接在下载软件中设置特定的代理，之后就能够登入访问受限网站。不过针对限制同时使用多线程下载的FTP网站，要实现消除限制，除了要获取若干个能用的socks的代理服务器外，还必须对下载软件做好一些设置。 目前最常见的莫过于flashget和Net Transport，我们来看一下它们的设置： 1.FlashGet 逐个打开FlashGet菜单中“工具” | “选项” | “代理服务器”，把能够使用的socks的代理服务器添加到列表窗口并勾选对应的“多代理”方框。必须留意的是，插入socks代理服务器时要注意选择类型（sock5还是sock4，通常情况下目前能找到多为sock5代理）和端口。

报文 （message） 是 HTTP 通信中的基本单位，由 8 位组字节流（octet sequence， 其中 octet 为 8 个比特）组成，通过 HTTP 通信传输。 实体 （entity） 作为请求或响应的有效载荷数据（补充项）被传输，其内容由实 体首部和实体主体组成。 HTTP 报文的主体用于传输请求或响应的实体主体。 通常，报文主体等于实体主体。只有当传输中进行编码操作时，实体 主体的内容发生变化，才导致它和报文主体产生差异。 303该状态码表示由于请求对应的资源存在着另一个 URI，应使用 GET 方法定向获取请求的资源。 303 状态码和 302 Found 状态码有着相同的功能，但 303 状态码明确 表示客户端应当采用 GET 方法获取资源，这点与 302 状态码有区 别。 304 服务器端允许请求访问资源，但未满足条件的情况下。 307类似302，但是不允许从post方法变成get方法。 代理 每次通过代理服务器转发请求或响应时，会追加写入 Via 首 部信息。 使用代理服务器的理由有：利用缓存技术（稍后讲解）减少网络带宽 的流量，组织内部针对特定网站的访问控制，以获取访问日志为主要 目的。 缓存代理和透明代理 透明代理的意思是客户端根本不需要知道有代理服务器的存在，会改变你的request fields（报文），并会传送真实IP。

一次 Web 请求到底发生了什么 一、从输入一个网址开始 当我们在浏览器输入一个网址，然后按下回车，接下来浏览器显示了页面。网速好的话这之间可能就一秒，但在这一秒内到底发生了什么？ 本文主要内容是试图记录一个完整 Web 请求的详细过程，从用户在浏览器中输入 URL 地址说起，然后浏览器如何找到服务器地址的过程，并发起请求；分析请求在达反向代理服务器内部处理过程；最后到请求在服务器端处理完成后，浏览器渲染响应页面过程。 大致过程如下： Web请求的工作原理可以简单地归纳为： 浏览器通过 DNS 把域名解析成对应的IP地址； 根据这个 IP 地址在互联网上找到对应的服务器，建立 Socket 连接； 客户端向服务器发送HTTP协议请求包，请求服务器里的资源文档； 在服务器端，实际上还有复杂的业务逻辑：服务器可能有多台，到底指定哪台服务器处理请求，这需要一个负载均衡设备来平均分配所有用户的请求； 还有请求的数据是存储在分布式缓存里还是一个静态文件中，或是在数据库里； 当数据返回浏览器时，浏览器解析数据发现还有一些静态资源（如：css，js或者图片）时又会发起另外的请求，而这些请求可能会在CDN上，那么CDN服务器又会处理这个用户的请求。 客户端与服务器断开。由客户端解释HTML文档，在客户端屏幕上渲染图形结果。 一个 HTTP 事务就是这样实现的，看起来很简单，原理其实是挺负责的

3 月，跳不动了？>>> 一：nginx简介 Nginx （发音同 engine x）是一款轻量级的Web 服务器／反向代理服务器及电子邮件（IMAP/POP3）代理服务器 ，并在一个BSD-like 协议下发行。由俄罗斯的程序设计师Igor Sysoev所开发，最初供俄国大型的入口网站及搜寻引擎Rambler（俄文：Рамблер）使用。 其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页伺服器中表现较好.目前中国大陆使用nginx网站用户有：新浪、网易、 腾讯,另外知名的微网志Plurk也使用nginx。 Nginx 是一个很牛的高性能Web和反向代理服务器, 它具有有很多非常优越的特性: 作为 Web 服务器： 相比 Apache，Nginx 使用更少的资源，支持更多的并发连接，体现更高的效率，这点使 Nginx 尤其受到虚拟主机提供商的欢迎。 在高连接并发的情况下，Nginx是Apache服务器不错的替代品 : Nginx在美国是做虚拟主机生意的老板们经常选择的软件平台之一. 能够支持高达 50,000 个并发连接数的响应, 感谢Nginx为我们选择了 epoll and kqueue 作为开发模型. Nginx作为负载均衡服务器 : Nginx 既可以在内部直接支持 Rails 和 PHP 程序对外进行服务, 也可以支持作为 HTTP代理

5. 与HTTP协作的Web服务器 一台Web服务器可搭建多个·独立域名的Web网站，也可作为通信路径上的中转服务器提升传输效率。 用单台虚拟主机实现多个域名： HTTP/1.1规范允许一台HTTP服务器搭建多个Web站点。比如，提供Web托管服务（Web Hosting Service）的供应商，可以用一台服务器为多位客户服务，也可以以每位客户持有的域名运行各自不同的网站。这是因为虚拟主机（virtual host）的功能。 即使物理层面只有一台服务器，但只要使用虚拟主机的功能，则可以假想已具有多台服务器。 客户端使用HTTP协议访问服务器时，会经常采用类似www.hackr.jp这样的主机名和域名。 在互联网上，域名通过DNS服务映射到IP地址（域名解析）之后访问目标网站，当请求发送到服务器时，已经是以IP地址形式访问了。 所以，如果一台服务器内托管了多个域名时，当收到请求时就需要搞清楚究竟要访问哪个域名。 在相同的IP地址下，由于虚拟主机可以寄存多个不同主机名和域名的Web网站，因此在发送HTTP请求时，必须在Host首部内完整指定主机名或域名的URI。 通信数据转发程序：代理、网关、隧道： 代理： 代理是一种有转发功能的应用程序，作用于服务器和客户端“中间人”的角色，接收由客户端发送的请求并转发给服务器，同时也接收服务器返回的响应并转发给客户端。 网关：

　　有些网站不允许爬虫进行数据爬取，因为会加大服务器的压力。其中一种最有效的方式是通过 ip+时间进行鉴别，因为正常人不可能短时间开启太多的页面，发起太多的请求。 　　我们使用的WebMagic可以很方便的设置爬取数据的时间。但是这样会大大降低我们爬取数据的效率，如果不小心 ip 被禁了，会让我们无法爬去数据，那么我们就有必要使用代理服务器来爬取数据。 代理服务器： 　　代理（英语：Proxy），也称网络代理，是一种特殊的网络服务，允许一个网络终端（一般为客户端）通过这个服务与另一个网络终端（一般为服务器）进行非直接的连接。 　　提供代理服务的电脑系统或其它类型的网络终端称为代理服务器（英文：ProxyServer）。一个完整的代理请求过程为：客户端首先与代理服务器创建连接，接着根据代理服务器所使用的代理协议，请求对目标服务器创建连接、或者获得目标服务器的指定资源。 　　　　 　　网上有很多代理服务器的提供商，但是大多是免费的不好用，付费的还行。免费的比如有： 　　　　米扑代理　　https://proxy.mimvp.com/free.php 　　　　西刺免费代理 IP　　http://www.xicidaili.com/ 使用代理： 　　WebMagic 使用的代理 APIProxyProvider。因为相对于 Site 的“配置”，ProxyProvider 定位更多是一个