http代理

07爬虫相关

邮差的信 提交于 2020-03-13 11:13:27
一. http/https相关知识 1. http与https 1)HTTP协议(HyperText Transfer Protocol,超文本传输协议):是一种发布和接收 HTML页面的方法。 2)HTTPS(Hypertext Transfer Protocol over Secure Socket Layer)简单讲是HTTP的安全版,在HTTP下加入SSL层。 3)SSL(Secure Sockets Layer 安全套接层)主要用于Web的安全传输协议,在传输层对网络连接进行加密,保障在Internet上数据传输的安全。 2. get与post 1)GET是从服务器上获取数据,POST是向服务器传送数据 2)GET请求参数显示,都显示在浏览器网址上,HTTP服务器根据该请求所包含URL中的参数来产生响应内容,即“Get”请求的参数是URL的一部分。 例如: http://www.baidu.com/s?wd=Chinese 3)POST请求参数在请求体当中,消息长度没有限制而且以隐式的方式进行发送,通常用来向HTTP服务器提交量比较大的数据(比如请求中包含许多参数或者文件上传操作等),请求的参数包含在“Content-Type”消息头里,指明该消息体的媒体类型和编码, 注意:避免使用Get方式提交表单,因为有可能会导致安全问题。 比如说在登陆表单中用Get方式

前端常见跨域解决方案(全)

时间秒杀一切 提交于 2020-03-11 21:53:21
什么是跨域? 跨域是指一个域下的文档或脚本试图去请求另一个域下的资源,这里跨域是广义的。 广义的跨域: 1.) 资源跳转: A链接、重定向、表单提交 2.) 资源嵌入:<link>、<script>、<img>、<frame>等dom标签,还有样式中background:url()、@font-face()等文件外链 3.) 脚本请求: js发起的ajax请求、dom和js对象的跨域操作等 其实我们通常所说的跨域是狭义的,是由浏览器同源策略限制的一类请求场景。 什么是同源策略? 同源策略/SOP(Same origin policy)是一种约定,由Netscape公司1995年引入浏览器,它是浏览器最核心也最基本的安全功能,如果缺少了同源策略,浏览器很容易受到XSS、CSFR等攻击。所谓同源是指”协议+域名+端口”三者相同,即便两个不同的域名指向同一个ip地址,也非同源。 同源策略限制以下几种行为: 1.) Cookie、LocalStorage 和 IndexDB 无法读取 2.) DOM 和 Js对象无法获得 3.) AJAX 请求不能发送 常见跨域场景 URL 说明 是否允许通信 http://www. domain.com/a.js http://www. domain.com/b.js 同一域名,不同文件或路径 允许 http://www. domain.com/lab

nginx的原理

给你一囗甜甜゛ 提交于 2020-03-10 15:06:22
一. nginx基本介绍 Nginx特性: Nginx (engine x) 是一个高性能的HTTP和反向代理服务,也是一个IMAP/POP3/SMTP服务。Nginx是一款轻量级的Web 服务器/反向代理服务器及电子邮件(IMAP/POP3)代理服务器,并在一个BSD-like 协议下发行。其特点是占有内存少,并发能力强,事实上nginx的并发能力确实在同类型的网页服务器中表现较好。 1、nginx高并发原理( 多进程+epoll实现高并发 ) Nginx 在启动后,会有一个 master 进程和多个相互独立的 worker 进程。 每个子进程只有一个线程,采用的 IO多路复用模型epoll,实现高并发。 2、epoll能实现高并发原理 epoll() 中内核则维护一个链表,epoll_wait 方法可以获取到链表长度,不为0就知道文件描述符准备好了。 在内核实现中 epoll 是根据每个 sockfd 上面的与设备驱动程序建立起来的回调函数实现的。 某个 sockfd 上的事件发生时,与它对应的回调函数就会被调用,来把这个 sockfd 加入链表,其他处于“空闲的”状态的则不会。 epoll上面链表中获取文件描述,这里使用内存映射(mmap)技术, 避免了复制大量文件描述符带来的开销 内存映射(mmap):内存映射文件,是由一个文件到一块内存的映射,将不必再对文件执行I/O操作

HTTP协议随笔

百般思念 提交于 2020-03-08 22:06:08
1.简介 HTTP协议是Hyper Text Transfer Protocol(超文本传输协议)的缩写。 2.特点 简单快速 灵活 HTTP 0.9和1.0使用非持续连接 HTTP 1.1使用持续连接 无状态 支持B/S (浏览器/服务器 ) 及C/S模式(客户机/服务器) 3.工作原 1、客户端连接到Web服务器 一个HTTP客户端,通常是浏览器,与Web服务器的HTTP端口(默认为80)建立一个TCP套接字连接 2、发送HTTP请求 通过TCP套接字,客户端向Web服务器发送一个文本的请求报文,一个请求报文由请求行、请求头部、空行和请求数据4部分组成。 3、服务器接受请求并返回HTTP响应 Web服务器解析请求,定位请求资源。服务器将资源复本写到TCP套接字,由客户端读取。一个响应由状态行、响应头部、空行和响应数据4部分组成。 4、释放连接 TCP连接 若connection 模式为close,则服务器主动关闭 TCP连接 ,客户端被动关闭连接,释放 TCP连接 ;若connection 模式为keepalive,则该连接会保持一段时间,在该时间内可以继续接收请求; 5、客户端浏览器解析HTML内容 客户端浏览器首先解析状态行,查看表明请求是否成功的状态代码。然后解析每一个响应头,响应头告知以下为若干字节的HTML文档和文档的字符集。客户端浏览器读取响应数据HTML

SQLmap是一款用来检测与利用SQL漏洞的注入神器。

给你一囗甜甜゛ 提交于 2020-03-06 07:15:56
sqlmap 重要参考 http://www.kali.org.cn/forum-75-1.html SQLmap是一款用来检测与利用SQL漏洞的注入神器。开源的自动化SQL注入工具,由Python写成,具有如下特点: 完全支持MySQL、Oracle、PostgreSQL、Microsoft SQL Server、Microsoft Access、IBM DB2、SQLite、Firebird、Sybase、SAP MaxDB、HSQLDB和Informix等多种数据库管理系统。 完全支持布尔型盲注、时间型盲注、基于错误信息的注入、联合查询注入和堆查询注入。 在数据库证书、IP地址、端口和数据库名等条件允许的情况下支持不通过SQL注入点而直接连接数据库。 支持枚举用户、密码、哈希、权限、角色、数据库、数据表和列。 支持自动识别密码哈希格式并通过字典破解密码哈希。 支持完全地下载某个数据库中的某个表,也可以只下载某个表中的某几列,甚至只下载某一列中的部分数据,这完全取决于用户的选择。 支持在数据库管理系统中搜索指定的数据库名、表名或列名 当数据库管理系统是MySQL、PostgreSQL或Microsoft SQL Server时支持下载或上传文件。 当数据库管理系统是MySQL、PostgreSQL或Microsoft SQL Server时支持执行任意命令并回现标准输出。 安装

curl总结

*爱你&永不变心* 提交于 2020-03-05 12:19:43
常用curl实例 抓取页面内容到一个文件中 curl -o home.html http://www.sina.com.cn 用 -O(大写的) ,后面的url要具体到某个文件,不然抓不下来。我们还可以用正则来抓取东西 curl -O http://www.mydomain.com/linux/index.html 模拟表单信息,模拟登录,保存cookie信息 curl -c ./cookie_c.txt -F log=aaaa -F pwd=****** http://blog.mydomain.com/login.php 模拟表单信息,模拟登录,保存头信息 curl -D ./cookie_D.txt -F log=aaaa -F pwd=****** http://blog.mydomain.com/login.php -c(小写) 产生的cookie和 -D里面的cookie是不一样的 使用cookie文件 curl -b ./cookie_c.txt http://blog.mydomain.com/wp-admin 断点续传, -C(大写的) curl -C -O http://www.sina.com.cn 传送数据 最好用登录页面测试,因为你传值过去后,回抓数据,你可以看到你传值有没有成功 curl -d log=aaaa http://blog.mydomain

前端常见跨域解决方案(全)

懵懂的女人 提交于 2020-03-05 07:55:44
前端常见跨域解决方案(全) 什么是跨域? 跨域是指一个域下的文档或脚本试图去请求另一个域下的资源,这里跨域是广义的。 广义的跨域: 1.) 资源跳转: A链接、重定向、表单提交 2.) 资源嵌入:<link>、<script>、<img>、<frame>等dom标签,还有样式中background:url()、@font-face()等文件外链 3.) 脚本请求: js发起的ajax请求、dom和js对象的跨域操作等 其实我们通常所说的跨域是狭义的,是由浏览器同源策略限制的一类请求场景。 什么是同源策略? 同源策略/SOP(Same origin policy)是一种约定,由Netscape公司1995年引入浏览器,它是浏览器最核心也最基本的安全功能,如果缺少了同源策略,浏览器很容易受到XSS、CSFR等攻击。所谓同源是指”协议+域名+端口”三者相同,即便两个不同的域名指向同一个ip地址,也非同源。 同源策略限制以下几种行为: 1.) Cookie、LocalStorage 和 IndexDB 无法读取 2.) DOM 和 Js对象无法获得 3.) AJAX 请求不能发送 常见跨域场景 URL 说明 是否允许通信 http : //www.domain.com/a.js http : //www.domain.com/b.js 同一域名,不同文件或路径 允许 http : /

nginx 配置vue代理2种方式

房东的猫 提交于 2020-03-03 05:07:35
**方法一** 访问方式:http://域名 server { listen 8088; #端口号,自定义 server_name 域名; root 路径; index index.html; # Load configuration files for the default server block. location / { try_files $uri $uri/ @router; index index.html index.htm index.php; add_header 'Access-Control-Allow-Origin' '*'; add_header 'Access-Control-Allow-Credentials' 'true'; add_header 'Access-Control-Allow-Methods' 'GET'; } error_page 404 /404.html; location = /40x.html { } error_page 500 502 503 504 /50x.html; location = /50x.html { } location @router { rewrite ^.*$ /index.html last; } location /api/ { #vue前端所有接口都加上/api/前缀

Maven设置http代理

我与影子孤独终老i 提交于 2020-03-02 19:00:04
Maven设置http代理 编辑~/.m2/settings.xml文件,添加如下配置 找到 <proxies> 节点。去掉相应的注释,设置代理信息如下: 1 <proxy> 2 <id>optional</id> 3 <active>true</active> 4 <protocol>http</protocol> 5 <username>proxyuser</username> 6 <password>proxypass</password> 7 <host>proxy.host.net</host> 8 <port>80</port> 9 <nonProxyHosts>local.net|some.host.com</nonProxyHosts> 10 </proxy> 来源: https://www.cnblogs.com/blue-rain/p/12397275.html

O2OA教程-业务开发与设计-定时任务与服务接口

天涯浪子 提交于 2020-03-02 10:36:42
服务管理包括代理和接口,都是在服务端运行。O2OA中代理就是定时任务。接口可以提供Http服务让外部程序调用。 代理和接口运行的都是后端脚本。在O2OA中,后端脚本也是Javascript,基于JDK8标准的Nashorn,遵循ECMAScript 5.1规范。如果您需要了解Nashorn,可以 点击此查看 。 前后端脚本的差异 O2OA中复杂的应用通常需要通过Javascript来实现。根据运行环境的差异,分为前后端脚本。 前端脚本是运行在浏览器上的,本系统的前端脚本基于 mootools 来构建,遵循ECMAScript 5.1规范。 后端脚本运行在服务器上,基于JDK8标准的 Nashorn ,遵循ECMAScript 5.1规范。 前端脚本在本系统的 AP I中有详细介绍,这里不再过多介绍。后端脚本在视图列脚本、流程事件、接口 和代理中都有使用,并且这些地方的上下文都有不同。 前端脚本 视图列 流程事件 接口和代理 运行环境 浏览器 服务器端 服务器端 服务器端 访问DOM对象 允许 不允许 不允许 不允许 API方法 查看 this.value(本列的列值)、this.entry.data(本行的数据) this.data、this.workContext、this.org this.org 允许使用“脚本组件” 可以使用this.include()跨应用调用