http代理

入门Nginx

一笑奈何 提交于 2020-01-31 02:05:05
一、正向代理和反向代理 正向代理举例:翻越万里长城去游览墙外的景色 反向代理举例:负载均衡 正向代理和反向代理涉及三个主体: 请求方 代理 被请求方 正向代理中,代理跟请求方是一家子,请求方说要啥,代理就给他啥。 反向代理中,代理跟被请求方是一家子,代理统筹规划让哪一个被请求方来处理请求,对于请求方来说,代理就是处理请求的人。大多数情况下,反向代理和被请求方在同一个服务器上。Nginx就是最常用的反向代理服务器。 这里也提一下:动态代理和静态代理 正向代理和反向代理是代理服务器的两种类型 动态代理和静态代理是Java中的设计模式:代理模式。 Spring的两大核心: IOC控制反转依赖注入 AOP面向切面编程 面向切面编程中大量使用动态代理,在每一个方法调用前、调用后、抛异常时进行处理,跟装饰器模式很像。 二、nginx配置体系 nginx主要配置位于/etc/nginx目录下,nginx不仅仅可以用于负载均衡HTTP请求,也可以用于基于TCP的其它协议的负载均衡。/etc/nginx/nginx.conf是nginx的跟配置,一切配置都是这个配置的子孙。 /etc/nginx/nginx.conf users www-data;定义当前用户 worker_prosesses 4;定义worker数 pid /run/nginx.pid;定义pid文件 events{......}

HTTP和GET/POST请求(NSURLConnection)

耗尽温柔 提交于 2020-01-30 19:19:20
网络编程 网络编程是一种实时更新应用数据的常用手段 网络编程是开发优秀网络应用的前提和基础 网络基本概念 客户端(就是手机或者ipad等手持设备上面的APP) 服务器(远程服务器-本地服务器) 请求(客户端索要数据的方式) 响应(需要客户端解析数据) 数据库(服务器的数据从哪里来) HTTP URL 如何找到服务器(通过一个唯一的URL) URL介绍 统一资源定位符 url格式(协议\主机地址\路径) 协议:不同的协议,代表着不同的资源查找方式、资源传输方式 主机地址:存放资源的主机(服务器)的IP地址(域名) 路径:资源在主机(服务器)中的具体位置 请求协议 【file】访问的是本地计算机上的资源,格式是file://(不用加主机地址) 【ftp】访问的是共享主机的文件资源,格式是ftp:// 【mailto】访问的是电子邮件地址,格式是mailto: 【http】超文本传输协议,访问的是远程的网络资源,格式是http://(网络请求中最常用的协议) HTTP协议 简介 a.超文本传输协议 b.规定客户端和服务器之间的数据传输格式 c.让客户端和服务器能有效地进行数据沟通 优缺点 a.简单快速(协议简单,服务器端程序规模小,通信速度快) b.灵活(允许传输各种数据) c.非持续性连接(1.1之前版本是非持续的,即限制每次连接只处理一个请求,服务器对客户端的请求做出响应后

maven入门基础:公开仓库—maven查找依赖的网站(五)

戏子无情 提交于 2020-01-30 18:17:13
一. Nexus搜索 1. 概念:它是功能强大的Maven管理工具 2. 地址: http://repository.sonatype.org/ 3. 代理的仓库包括:   (1) central:中央仓库   (2) JBoss   (3) Java.net 二. Jarvana搜索 1. 地址: http://www.jarvana.com/jarvana/ 2. 代理的仓库包括:   (1) central:中央仓库   (2) JBoss   (3) Java.net 三. MVNbrowser搜索 1. 地址: http://www.mvnbrowser.com/ 2. 代理的仓库包括:   (1) central:中央仓库   (2) JBoss   (3) Java.net 四. MVNrepository搜索 1. 地址: http://mvnrepository.com/ 2. 代理的仓库包括:   (1) central:中央仓库   (2) JBoss   (3) Java.net 五. 阿里仓库搜索 1. 地址: http://maven.aliyun.com/mvn/search 来源: https://www.cnblogs.com/my_captain/p/12243182.html

http内容协商

这一生的挚爱 提交于 2020-01-30 16:33:55
概览 对于特定的URL来说,服务器可以根据一些原则来决定发送什么内容给客户端最合适。在有些场合下,服务器甚至可以自动生成定制的页面。比如,服务器可以为手持设备把HTML页面转换成WML页面。这类动态内容变换被称为转码。这些变换动作是HTTP客户端和服务器之间进行内容协商的结果   共有3种不同的方法可以决定服务器上哪个页面最适合客户端:让客户端来选择、服务器自动判定,或让中间代理来选。这3种技术分别称为客户端驱动的协商、服务器驱动的协商以及透明协商 1 客户端驱动 对于服务器来说,收到客户端请求时只是发回响应,在其中列出可用的页面,让客户端决定要看哪个,这是最容易的事情。很显然,这是服务器最容易实现的方式,而且客户端很可能选择到最佳的版本(只要列表中有让客户端选择的足够信息)。不利之处是每个页面都需要两次请求:第一次获取列表,第二次获取选择的副本。这种技术速度很慢且过程枯燥乏味,让用户厌烦   从实现原理上来说,服务器实际上有两种方法为客户端提供选项:一是发送回一个HTML文档,里面有到该页面的各种版本的链接和每个版本的描述信息,另一种方法是发送回HTTP/1.1响应时,使用300 Multiple Choices响应代码。客户端浏览器收到这种响应时,在前一种情况下,会显示一个带有链接的页面,在后一种情况下,可能会弹出对话窗口,让用户做选择。不管怎么样

【爬虫学习笔记day07】1.5. Requests深入+基本POST请求(data参数)+代理(proxies参数)+私密代理验证(特定格式) 和 Web客户端验证(auth 参数)+Cookies

▼魔方 西西 提交于 2020-01-30 02:54:12
文章目录 1.5. Requests深入 基本POST请求(data参数) 1. 最基本post方法 2. 传入data数据 代理(proxies参数) 私密代理验证(特定格式) 和 Web客户端验证(auth 参数) 私密代理 web客户端验证 Cookies 和 Sission Cookies session 实现人人网登录 处理HTTPS请求 SSL证书验证 1.5. Requests深入 基本POST请求(data参数) 1. 最基本post方法 response = requests . post ( "http://www.baidu.com/" , data = data ) 2. 传入data数据 对于 POST 请求来说,我们一般需要为它增加一些参数。那么最基本的传参方法可以利用 data 这个参数。 import requests formdata = { "type" : "AUTO" , "i" : "i love python" , "doctype" : "json" , "xmlVersion" : "1.8" , "keyfrom" : "fanyi.web" , "ue" : "UTF-8" , "action" : "FY_BY_ENTER" , "typoResult" : "true" } url = "http://fanyi.youdao

haproxy高可用代理

坚强是说给别人听的谎言 提交于 2020-01-30 02:36:47
haproxy高可用代理 文章目录 haproxy高可用代理 1.haproxy简介 2.haproxy高可用代理的实现 1.haproxy简介 HAProxy 是一个使用C语言编写的自由及开放源代码软件[1],其提供 高可用性 、 负载均衡 ,以及基于 TCP 和 HTTP 的应用程序 代理 。 HAProxy特别适用于那些负载特大的web站点,这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上,完全可以支持数以万计的 并发连接 。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中, 同时可以保护你的web服务器不被暴露到网络上。 HAProxy实现了一种** 事件驱动 **, 单一进程 模型,此模型支持非常大的并发连接数。 多进程 或多线程模型受内存限制 、系统调度器限制以及无处不在的锁限制,很少能处理数千并发连接。 事件驱动模型 因为在有更好的资源和时间管理的用户空间(User-Space) 实现所有这些任务,所以没有这些问题。此模型的弊端是,在多核系统上,这些程序通常扩展性较差。这就是为什么他们必须进行优化以 使每个CPU时间片(Cycle)做更多的工作。 包括 GitHub 、 Bitbucket 、Stack Overflow、 Reddit 、 Tumblr 、 Twitter [5][6]和 Tuenti 在内的知名网站

前端解决跨域的九种方法

谁都会走 提交于 2020-01-29 05:47:56
什么是跨域? 跨域是指一个域下的文档或脚本试图去请求另一个域下的资源,这里跨域是广义的。 广义的跨域: 1、 资源跳转:A链接、重定向、表单提交 2、 资源嵌入: <link>、<script>、<img>、<frame>等dom标签,还有样式中background:url()、@font-face()等文件外链 3、 脚本请求: js发起的ajax请求、dom和js对象的跨域操作等 其实我们通常所说的跨域是狭义的,是由浏览器同源策略限制的一类请求场景。 什么是同源策略? 同源策略/SOP(Same origin policy)是一种约定,由Netscape公司1995年引入浏览器,它是浏览器最核心也最基本的安全功能,如果缺少了同源策略,浏览器很容易受到XSS、CSFR等攻击。所谓同源是指"协议+域名+端口"三者相同,即便两个不同的域名指向同一个ip地址,也非同源。 同源策略限制以下几种行为: 1、Cookie、LocalStorage 和 IndexDB 无法读取 2、 DOM 和 Js对象无法获得 3、 AJAX 请求不能发送 常见跨域场景 URL 说明 是否允许通信 http://www.demo.com/a.js http://www.demo.com/b.js 同一域名,不同文件或路径 允许 http://www.demo.com/lab/c.js http://www

图解HTTP 第五章、与HTTP协作的Web服务器

爷,独闯天下 提交于 2020-01-28 05:27:36
5.2 通信数据转发程序:代理、网关、隧道 5.2.1 代理 代理服务器的基本行为就是接受客户端发送的请求后转发给其他服务器。 使用代理服务器的理由有:利用缓存技术减少网络带宽流量,组织内部针对特定网站的访问控制等。 代理按两种基准分类。一种是是否使用缓存,另一种是是否会修改报文。 缓存代理 代理转发响应,缓存代理会预先将资源的复本保存在代理服务器上。当代理再次接受到对相同资源的请求,就可以不从源服务器获取资源,而将之前的缓存资源作为响应返回。 透明代理 转发或响应时,不对报文做任何加工的代理类型。 5.2.2 网关 5.2.3 隧道 按要求建立一条与其他服务器的通信线路,届时使用SSL加密手段进行通信。隧道的目的是确保客户端能与服务器进行安全的通信。 隧道本身不会去解析HTTP请求。 来源: CSDN 作者: WindSearcher 链接: https://blog.csdn.net/qq_40511966/article/details/104074684

HTTP协议认知

折月煮酒 提交于 2020-01-28 02:20:18
http协议: 协议是指计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则,超文本传输协议(HTTP)是一种通信协议,它允许将超文本标记语言(HTML)文档从Web服务器传送到客户端的浏览器 允许将html文件从服务端传送给客户端 代理服务器的作用: 就是提高速度,没有代理的是这个样子,见图 我们在浏览器输入URL,浏览器给服务端发送request,服务器解析,并回复一个response,浏览器解析response,展示HTML网页。你要想一下,要是人数多了,很吃机器性能这个时候就有一个代理,见图 代理会缓存曾经的搜索记录,要是在历史的缓存中有记录,就会直接从代理中发送respond,这样就快了,还有其他的功能: (过滤一些病毒,保障上网的安全,还能有效地进行访问控制、网速限制,上网监控等等) https://www.cnblogs.com/TankXiao/archive/2012/02/13/2342672.html#ManyRequest 贼详细 来源: CSDN 作者: 东贝鸟 链接: https://blog.csdn.net/weixin_45393723/article/details/104094431

jmeter录制chrome脚本

做~自己de王妃 提交于 2020-01-25 00:22:13
1. 打开JMeter工具。 2. 创建一个线程组(右键点击“测试计划”--->“添加”---->“线程组”)。 3.创建一个http代理服务器(右键点击“工作台”--->“添加”--->“非测试元件”--->“http代理服务器”) 点击启动 4.下面来设置一下chrome浏览器 “设置”——“网络”——“更改代理服务器”——“局域网设置” 5.现在点击jmeter上的“启动”按钮,打开chrome浏览器输入需要录制web项目地址,jmeter会自动记录你所访问的页面。 提醒:不录制的时候记得将设置改回来,可能会导致你无法正常浏览网页 来源: https://www.cnblogs.com/jinjidedale/p/5669500.html