服务器类型

python爬虫(七)_urllib2:urlerror和httperror

我与影子孤独终老i 提交于 2020-02-17 10:19:14
urllib2的异常错误处理 在我们用 urlopen或opener.open 方法发出一个请求时,如果 urlopen或opener.open 不能处理这个response,就产生错误。 这里主要说的是URLError和HTTPError,以及对它们的错误处理。 URLError URLError产生的原因主要有: 没有网络连接 服务器链接失败 找不到指定的服务器 我们可以用 try except 语句来补货相应的异常。下面的例子里我们访问了一个不存在的域名。 #urllib2_urlerror.py import urllib2 request = urllib2.Request("http://www.sdfsdfsf.com") try: urllib2.urlopen(request, timeout= 5) except urllib2.URLError, err: print err 运行结果如下: <urlopen error [Errno 8] nodename nor servname provided, or not known> urlopen error,错误代码8.错误原因是没有找到指定的服务器。 HTTPError HTTPError是URLError的子类,我们发出一个请求时,服务器都会对应一个response应答对象,其中它包含一个数字"响应状态码

海量数据和高并发解决方案

霸气de小男生 提交于 2020-02-17 06:46:12
ps :读书笔记 海量数据解决方案 缓存和页面静态化   缓存就是把从数据库中的数据暂时存起来,下次使用时无需在查询数据库。缓存分为程序直接保存到内存和框架框架2种。程序缓存一般使用currentHashMap直接保存到内存。框架缓存的话有redis,memcache等。   ps:空数据值问题。   缓存创建的时候把没有数据的缓存用特定的符号来表示。因为这种模式下如果从缓存中获取不到数据,就会查询数据库,但是其本身就没有数据的话。那么每次都要查询一次数据库,不合理。   页面静态化:是将程序生成的页面保存起来。这样下次调用直接就使用。连程序这一关也过了。更加快速。可以在程序中使用velocity等技术来生成静态页面,也可以通过上层缓存Nginx来生成。 数据库优化   1.表结构优化:设计合理的符合规范的表。   2.sql优化:根据日志以及其他工具分析那条sql语句最耗时,在针对性的有的放矢的优化,要统筹好,不能只针对一条语句,优化时要考虑到表上的其他语句综合考虑。   3.分区:一个表中数据量太大时,那么分区就可以使用了。分区是将数据按照一定规则把数据分到不同区来保存,这样子操作数据时,数据量更少。查询数据时只在一定区间进行。且这种操作时对程序透明的。程序无需修改。   4.分表:分表就是把表横向切分为几个表。第一种方式就是为了减少数据,比如一张表里面某个字段是分类

Memcache所有方法及参数详解

蓝咒 提交于 2020-02-16 20:27:13
memcache 函数所有的方法列表如下: 参考http://www.php.net/manual/zh/function.Memcache-add.php Memcache::add - 添加一个值,如果已经存在,则返回false Memcache::addServer - 添加一个可供使用的服务器地址 Memcache::close - 关闭一个Memcache对象 Memcache::connect - 创建一个Memcache对象 memcache_debug - 控制调试功能 Memcache::decrement - 对保存的某个key中的值进行减法操作 Memcache::delete - 删除一个key值 Memcache::flush - 清除所有缓存的数据 Memcache::get - 获取一个key值 Memcache::getExtendedStats - 获取进程池中所有进程的运行系统统计 Memcache::getServerStatus - 获取运行服务器的参数 Memcache::getStats - 返回服务器的一些运行统计信息 Memcache::getVersion - 返回运行的Memcache的版本信息 Memcache::increment - 对保存的某个key中的值进行加法操作 Memcache::pconnect -

第一章 内网渗透测试基础

感情迁移 提交于 2020-02-16 10:40:49
本文章大部分内容来自于 <内网安全攻防:渗透测试实战指南>: https://item.jd.com/12743210.html 0x00 内网基础知识 内网也指局域网(Local Area Network, LAN) , 是指在某一区域内由多台计算机互连而成的计算机组 在局域网中, 可以实现文件管理, 应用软件共享, 打印机共享, 工作组内的日程安排, 电子邮件和传真通信服务器等 工作组 将不同的计算机按功能(或部门)分别列入不同的 工作组(Work Group) 加入/创建工作组的方法 : 右键桌面 计算机 -> 属性 -> 更改设置 -> 更改 , 然后输入计算机名和想要加入的工作组名称即可 如果输入的工作组在网络中不存在, , 就相当于新建了一个工作组 设置完后重启电脑, 进入 网络 就可以看到加入工作组的成员了, 也可以 退出工作组, 修改工作组的名称即可 此时在网络中, 我们可以随时访问别人的共享资源, 别人也可以访问我们的共享资源 所以工作组并不存在真正的集中管理作用, 工作组里的所有计算机都是对等的,也就是没有服务器和客户机之分的。 域 域(Domain) : 一个具有安全边界的计算机集合(安全边界: 在两个域中, 一个域的用户无法访问另一个域中的资源). 用户想要访问域内的资源, 必须以合法的身份登录域, 而用户对域内的资源拥有什么样的权限,

Pomelo术语解释

烈酒焚心 提交于 2020-02-16 03:55:03
gate服务器 一个应用的gate服务器,一般不参与rpc调用,也就是说其配置项里可以没有port字段,仅仅有clientPort字段,它的作用是做前端的负载均衡。客户端往往首先向gate服务器发出请求,gate会给客户端分配具体的connector服务器。具体的分配策略一般是根据客户端的某一个key做hash得到connector的id,这样就可以实现各个connector服务器的负载均衡。 connector服务器 connector服务器接收客户端的连接请求,创建与客户端的连接,维护客户端的session信息。同时,接收客户端对后端服务器的请求,按照用户配置的路由策略,将请求路由给具体的后端服务器。当后端服务器处理完请求或者需要给客户端推送消息的时候,connector服务器同样会扮演一个中间角色,完成对客户端的消息发送。connector服务器会同时拥有clientPort和port,其中clientPort用来监听客户端的连接,port端口用来给后端提供服务。 应用逻辑服务器 gate服务器和connector服务器又都被称作前端服务器,应用逻辑服务器是后端服务器,它完成实际的应用逻辑,提供服务给客户端,当然客户端的请求是通过前端服务器路由过来的。后端服务器之间也会通过rpc调用而有相互之间的交互。由于后端服务器不会跟客户端直接有连接

远程连接阿里云服务器上的MySQL

孤人 提交于 2020-02-15 13:18:12
1、修改root用户的host 为% 登录MySQL 后 执行 use mysql; 然后查看root用户的host selcet user,host from user; 如果user的host 不是 % ,需要执行update user set host='%' where user='root'; 修改 2、修改完成后执行 flush privileges; 3、退出mysql 重启mysql服务 exit; sercice mysqld restart 4、修改完成后需要设置阿里云的安全规则。登录阿里云 找到云服务器的 网络与安全的 安全组 创建一个安全组 ,网络类型选择经典网络即可。 5、网络组创建成功后,需要设置规则开放 mysql的3306 端口(安装完成后端口默认是3306,可以登录mysql 通过 命令查询端口 show global variables like 'port';) 7、规则设置完成后,就可以用Navicat访问mysql了。 来源: https://www.cnblogs.com/tangqiu/p/12310933.html

nginx和php-fpm调用方式

喜你入骨 提交于 2020-02-13 14:35:34
nginx和php-fpm调用方式 一.背景: 在开发中碰到一个问题,项目以nginx+php-fpm形式访问交互,结果访问项目时报错如下图: 二.分析: 提示很明确嘛,去看error.log(在nginx.conf或者vhost里头配置的,找到你对应路径即可) 错误信息如下: 1 2 3 2017/09/18 10:46:21 [error] 3880#0: *92 connect() failed (111: Connection refused) while connecting to upstream, client: 192.168.33.10, server: local.helios.com, request: "GET /v1/room/detail.json HTTP/1.1" , upstream: "fastcgi://127.0.0.1:9000" , host: "local.helios.com" 或 1 2 3 2017 /09/18 14:30:42 [crit] 5375 #0: *43 connect() to unix:/tmp/php-cgi.sock failed (2: No such file or directory) while connecting to upstream, client: 192.168.33.10,

F5 基本原理介绍(转)

╄→尐↘猪︶ㄣ 提交于 2020-02-13 13:26:14
原文链接:http://kuaibao.qq.com/s/20180308G1NPIS00?refer=cp_1026 文章来源:企鹅号 - 民生运维 1. 负载均衡的基本单位 目前负载均衡设备的基本处理单位是TCP连接,也就是说当一个TCP连接建立后,在该连接中的所有客户端请求和服务器响应信息都通过这一个TCP连接进行。 只有客户端发起新的连接的时候,才会根据负载均衡算法重新计算,才可能分发到其他服务器上。 2. 基本工作模式 F5支持全代理模式,同时也可以工作在四层转发模式。 全代理模式就是VS配置成standard类型,此模式下客户端和F5建立一个连接,客户端将请求发送给F5,F5再和服务器建立连接,并将请求发送给服务器,服务器返回信息后,F5再将返的回信息送给客户端。在此模式下F5可以查看请求和响应的所有信息,可以根据所有信息进行分发和处理。 四层转发模式就是VS配置成Performance L4类型,此模式下F5只做四层转发,也就是F5只处理四层以下的信息,即端口和IP信息,具体业务数据不做任何处理。客户端发送给F5的数据包,F5只根据需要将IP和端口处理之后就直接发送给服务器,响应信息也类似处理。在此模式下,F5只能查看四层一下信息,不处理业务信息,好处是处理过程简单、速度快。缺点是无法对四层以上的协议数据进行精确处理。 3. 负载均衡算法

HTTP协议状态码详解(HTTP Status Code)

强颜欢笑 提交于 2020-02-13 12:11:52
使用ASP.NET/PHP/JSP 或者javascript都会用到http的不同状态,一些常见的状态码为: 200 – 服务器成功返回网页 404 – 请求的网页不存在 503 – 服务不可用 1xx(临时响应) 表示临时响应并需要请求者继续执行操作的状态代码。 代码 说明 100 (继续) 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分,正在等待其余部分。 101 (切换协议) 请求者已要求服务器切换协议,服务器已确认并准备切换。 2xx (成功) 表示成功处理了请求的状态代码。 代码 说明 200 (成功) 服务器已成功处理了请求。 通常,这表示服务器提供了请求的网页。 201 (已创建) 请求成功并且服务器创建了新的资源。 202 (已接受) 服务器已接受请求,但尚未处理。 203 (非授权信息) 服务器已成功处理了请求,但返回的信息可能来自另一来源。 204 (无内容) 服务器成功处理了请求,但没有返回任何内容。 205 (重置内容) 服务器成功处理了请求,但没有返回任何内容。 206 (部分内容) 服务器成功处理了部分 GET 请求。 3xx (重定向) 表示要完成请求,需要进一步操作。 通常,这些状态代码用来重定向。 代码 说明 300 (多种选择) 针对请求,服务器可执行多种操作。 服务器可根据请求者 (user agent) 选择一项操作

HTTP协议状态码详解(HTTP Status Code)

和自甴很熟 提交于 2020-02-13 10:53:09
使用php或者javascript都会用到http的不同状态,一些常见的状态码为: 200 – 服务器成功返回网页 404 – 请求的网页不存在 503 – 服务不可用 所有状态解释:点击查看 1xx(临时响应) 表示临时响应并需要请求者继续执行操作的状态代码。 代码 说明 100 (继续) 请求者应当继续提出请求。 服务器返回此代码表示已收到请求的第一部分,正在等待其余部分。 101 (切换协议) 请求者已要求服务器切换协议,服务器已确认并准备切换。 2xx (成功) 表示成功处理了请求的状态代码。 代码 说明 200 (成功) 服务器已成功处理了请求。 通常,这表示服务器提供了请求的网页。 201 (已创建) 请求成功并且服务器创建了新的资源。 202 (已接受) 服务器已接受请求,但尚未处理。 203 (非授权信息) 服务器已成功处理了请求,但返回的信息可能来自另一来源。 204 (无内容) 服务器成功处理了请求,但没有返回任何内容。 205 (重置内容) 服务器成功处理了请求,但没有返回任何内容。 206 (部分内容) 服务器成功处理了部分 GET 请求。 3xx (重定向) 表示要完成请求,需要进一步操作。 通常,这些状态代码用来重定向。 代码 说明 300 (多种选择) 针对请求,服务器可执行多种操作。 服务器可根据请求者 (user agent) 选择一项操作