web服务器

工作流调度系统产生背景 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等。 各个任务单元之间存在时间先后依赖关系。 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 简单的任务调度： 直接使用linux的crontab来定义,但是缺点也是比较明显，无法设置依赖。 复杂的任务调度：Azkaban Azkaban 调度器 azkaban一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流 Azkaban集群部署 1.准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gz MySQL 本文档中默认已安装好mysql服务器。 2.上传安装包 将安装包上传到集群,最好上传到安装hive、sqoop的机器上,方便命令的执行。 新建azkaban目录,用于存放azkaban运行程序。 3.azkaban web 服务器安装 解压azkaban-web-server-2.5.0.tar.gz 命令: tar –zxvf

1、Azkaban安装部署 azkaban-web-server-2.5.0.tar.gz azkaban-executor-server-2.5.0.tar.gz azkaban-sql-script-2.5.0.tar.gz 2、安装 将安装文件上传到集群,最好上传到安装 spark，hive、sqoop的机器上,方便命令的执行 　　mkdir azkaban azkaban web服务器安装 解压azkaban-web-server-2.5.0.tar.gz 　　tar –zxvf azkaban-web-server-2.5.0.tar.gz 将解压后的azkaban-web-server-2.5.0 移动到 azkaban目录中,并重新命名 server 　　mv azkaban-web-server-2.5.0 ../azkaban cd ../azkaban mv azkaban-web-server-2.5.0 server azkaban 执行服器安装 解压azkaban-executor-server-2.5.0.tar.gz 　　tar –zxvf azkaban-executor-server-2.5.0.tar.gz 将解压后的azkaban-executor-server-2.5.0 移动到 azkaban目录中,并重新命名 executor 　　mv

前端基础 一、HTTP,HTML,浏览器 1、说一下 http 和 https https 的 SSL 加密是在传输层实现的。 (1)http 和 https 的基本概念: http: 超文本传输协议，是互联网上应用最为广泛的一种网络协议，是一个客户端和服务器 端请求和应答的标准(TCP)，用于从 WWW 服务器传输超文本到本地浏览器的传输协议，它可以 使浏览器更加高效，使网络传输减少。 HTTP 是一个基于 TCP/IP 通信协议来传递数据(HTML 文件, 图片文件, 查询结果等)HTTP 是一个属于应用层的面向对象的协议，由于其简捷、快速的方式，适用于分布式超媒体信息系统。 它于 1990 年提出，经过几年的使用与发展，得到不断地完善和扩展。目前在 WWW 中使用的是 HTTP/1、0 的第六版，HTTP/1、1 的规范化工作正在进行之中，而且 HTTP-NG(Next Generation of HTTP)的建议已经提出。HTTP 协议工作于客户端-服务端架构为上。浏览器作为 HTTP 客户端通过 URL向HTTP服务端即WEB服务器发送所有请求。Web服务器根据接收到的请求后，向客户端发送 响应信息。 https: 是以安全为目标的HTTP通道，简单讲是HTTP的安全版，即HTTP下加入SSL层，HTTPS 的安全基础是 SSL，因此加密的详细内容就需要 SSL。

Haproxy搭建Web群集 对Haproxy以及部署环境的了解 Haproxy是一种比较流行的调度工具 Haproxy与LVS、Nginx比较 LVS：LVS性能最好，抗负载能力强，但是配置起来较复杂 Nginx：对群集节点健康检查功能不强，性能没有Haproxy好，安装配置简单，测试方便，但是仅支持http和emil的调度 Haproxy：性能比Nginx好，支持url检测后端的服务器（mysql服务器超过10台不如LVS） 算法（跟LVS一样） rr （轮询）：调度器通过"轮叫"调度算法将外部请求按顺序轮流分配到集群中的真实服务器上，它均等地对待每一台服务器，而不管服务器上实际的连接数和系统负载 wrr （加权轮询）：调度器通过"加权轮叫"调度算法根据真实服务器的不同处理能力来调度访问请求，这样可以保证处理能力强的服务器处理更多的访问流量。调度器可以自动问询真实服务器的负载情况，并动态地调整其权值 lc （最少连接）：调度器通过"最少连接"调度算法动态地将网络请求调度到已建立的链接数最少的服务器上，如果集群系统的真实服务器具有相近的系统性能，采用"最小连接"调度算法可以较好地均衡负载 wlc （加权最少连接）：在集群系统中的服务器性能差异较大的情况下，调度器采用"加权最少链接"调度算法优化负载均衡性能，具有较高权值的服务器将承受较大比例的活动连接负载

一、 WebService简介 （1）简介----百度百科（注意标识的重点） Web service是一个平台独立的，低耦合的，自包含的、基于可编程的web的应用程序，可使用开放的XML（标准通用标记语言下的一个子集）标准来描述、发布、发现、协调和配置这些应用程序，用于开发分布式的互操作的应用程序。 Web Service技术， 能使得运行在不同机器上的不同应用无须借助附加的、专门的第三方软件或硬件， 就可相互交换数据或集成。依据Web Service规范实施的应用之间， 无论它们所使用的语言、 平台或内部协议是什么， 都可以相互交换数据。Web Service是自描述、 自包含的可用网络模块， 可以执行具体的业务功能。Web Service也很容易部署， 因为它们基于一些常规的产业标准以及已有的一些技术，诸如标准通用标记语言下的子集XML、HTTP。Web Service减少了应用接口的花费。Web Service为整个企业甚至多个组织之间的业务流程的集成提供了一个通用机制。 （2）WebService三元素 UDDI ：UDDI 的目的是为电子商务建立标准；UDDI是一套基于Web的、分布式的、为Web Service提供的、信息注册中心的实现标准规范，同时也包含一组使企业能将自身提供的Web Service注册，以使别的企业能够发现的访问协议的实现标准。---简单点说

我们的防范是从入侵者角度来进行考虑，那么我们就首先需要知道入侵者的入侵方式。目前较为流行web入侵方式都是通过寻找程序的漏洞先得到网站的webshell然后再根据服务器的配置来找到相应的可以利用的方法进行提权，进而拿下服务器权限的。所以配合服务器来设置防止webshell是有效的方法。 1.防止数据库被非法下载应当说，有一点网络安全的管理员，都会把从网上下载的网站程序的默认数据库路径进行更改。当然也有一部分管理员非常粗心，拿到程序直接在自己的服务器上进行安装，甚至连说明文件都不进行删除，更不要说更改数据库路径了。这样黑客就可以通过直接从源码站点下载网站源程序，然后在本地测试找到默认的数据库，再通过下载数据库读取里面的用户信息和资料(一般是经过MD5加密的)找到管理入口进行登陆获得webshell。还有一种情况是由于程序出错暴出了网站数据库的路径，那么怎么防止这种情况的发生呢?我们可以添加mdb的扩展映射。高防服务器打开IIS添加一个MDB的映射，让mdb解析成其他下载不了的文件：“IIS属性”—“主目录”—“配置”—“映射”—“应用程序扩展”里面添加.mdb文件应用解析，至于用于解析它的文件大家可以自己进行选择，只要访问数据库文件出现无法访问就可以了。 这样做的好处是：1只是要是mdb后缀格式的数据库文件就肯定下载不了；2对服务器上所有的mdb文件都起作用

手写简单的web服务器 一、用到的知识 oop，容器，io，多线程，网络编程，xml解析，反射，HTML，http 1.反射 将Java类中的各种结构映射成一个个Java对象，利用反射对一个类进行解剖，反射是框架设计灵魂 jdk9 用反射创建对象不再用.newInstance()创建对象，而是getConstructor().newInstance(); clz = Class.forName("包名.类名");//创建对象clz.newInstance();//9，不再这样用clz.getConstructor().newInstance(); 2.xml解析 XML 可扩展标记语言 树结构 这里用SAX解析 { //1、获取解析工厂 SAXParserFactory factory=SAXParserFactory.newInstance(); //2、从解析工厂获取解析器 SAXParser parse =factory.newSAXParser(); //3、编写处理器 //4、加载文档 Document 注册处理器 PHandler handler=new PHandler(); //5、解析 parse.parse(Thread.currentThread().getContextClassLoader() .getResourceAsStream("com/sxt

1.写出常用的bootstrap的样式。 row：行 col- - ：列（第一个 可以为xs[超小]/sm[小型]/md[中型]/lg[大型]；第二个 必须为12以内的【列数】） col- -offset- ：列偏移（第一个 同上，第二个 范围为1~11，表示把该列的左外边距（margin-left）增加 列） col- - - ：列排序（第一个 同上，第二个 可以为push[向右]/pull[向左]，第三个 范围是1~11【列数】） 排版 small：内联子标题 lead：引导主体副本 text- ：文本样式（ 可以为left[左对齐]/center[居中对齐]/right[右对齐]/muted[减弱文本] /primary/success/info/warning/danger /justify[自动换行]/nowrap[不换行] /lowercase[小写]/uppercase[大写]/capitalize[首字母大写] ） list-inline：列表置于同一行 表格 table：基本样式，只有横向分割线 table- ：表格样式(*可以为triped[添加条纹]/bordered[添加边框]/hover[启用悬停]/condensed[更加紧凑]) tr/th/td：由active/success/info/warning/danger来改变背景颜色 table

Python面试重点（web篇） 注意：只有必答题部分计算分值，补充题不计算分值。 第一部分 必答题 注意：除第四题4分以外，其他题均每题3分。 写出常用的bootstrap的样式。 Bootstrap表格样式、栅格系统、带边框的表格、状态类表格（带背景色的表格）、内联表单、禁用状态和只读状态 什么是响应式布局？ 请通过jQuery发送ajax请求。 $.ajax({ url:'/test/', # 提交的地址 type:"post", # 请求方式 data:{ # 提交的数据 name:"alex", age:73, hobby:JSON.stringify(['装逼,画饼,上北大']) }, success:function(ret){ # 响应成功的回调函数 }, error:function (ret) { # 相应失败的回调函数 console.log(ret) }}) JavaScript与this相关的面试题（4分） name = '老男孩';​info = { name:'alex', age:123, func:function(){ console.log(this.name); }}​info.func() name = '老男孩';​info = { name:'alex', age:123, func:function(){ console.log

Python面试重点（web篇） 注意：只有必答题部分计算分值，补充题不计算分值。 第一部分 必答题 注意：除第四题4分以外，其他题均每题3分。 写出常用的bootstrap的样式。 什么是响应式布局？ 响应式布局：简而言之，就是一个网站能够兼容多个终端——而不是为每个终端做一个特定的版本。这个概念是为解决移动互联网浏览而诞生的。 请通过jQuery发送ajax请求。 $.ajax({ type: 'POST', url: "http://xxx/yyy/zzz/sendVerifyCode", data:{ phoneNo:$(".tel").val() }, success: function(data){ $.toast("发送成功", "text") }, error: function(){ $.toast("发送失败", "text") } }) JavaScript与this相关的面试题（4分） name = '老男孩'; info = { name:'alex', age:123, func:function(){ console.log(this.name); } } info.func() // alex name = '老男孩'; info = { name:'alex', age:123, func:function(){ console.log(this