科技新闻

MD5加密网站 https://md5jiami.51240.com/ MD5消息摘要算法（英语：MD5 Message-Digest Algorithm），一种被广泛使用的密码散列函数，可以产生出一个128位（16字节）的散列值（hash value），用于确保信息传输完整一致。MD5由罗纳德·李维斯特设计，于1992年公开，用以替换MD4算法。这套算法的程序在 RFC 1321 中被加以规范。 将数据（如一段文字）运算变为另一固定长度值，是散列算法的基础原理。 1996年后被证实存在弱点，可以被加以破解，对于需要高度安全性的数据，专家一般建议改用其他算法，如SHA-1。2004年，证实MD5算法无法防止碰撞，因此无法适用于安全性认证，如SSL公开密钥认证或是数字签名等用途。 crypto.md5(originstr,len) 　　 local originstr = "sdfdsfdsfdsffdsfdsfsdfs1234" print("md5",crypto.md5(originstr,slen(originstr))) --md5 235B69FBC9E75C4FD5E8C59F9CB16500 　例： local SnHead="8WRLANVK3HBGPJ26Z7COFIX5EQ4D1SMU9TY" local Sn="JHJ-X001B20086" local

一、说明 MIME (Multipurpose Internet Mail Extensions) 是描述消息内容类型的因特网标准，说白了也就是文件的媒体类型。浏览器可以根据它来区分文件，然后决定什么内容用什么形式来显示。 二、部分文件的MIMEType 文件拓展名 MIMEType png image/png bmp\dib image/bmp jpg\jpeg\jpg image/ipeg gif image/gif mp3 audio/mpeg mp4\mpg4\m4v\mp4v video/mp4 js application/javascript pdf application/pdf text\txt text/plan json application/json xml text/xml 三、为什么要获取MIMEType 关于为什么要获取MIMEType的原因，是因为在进行文件上传的时候，需要在POST请求体中传递相应的参数，来进行文件的上传操作 说明：当然你也可以直接传递application/octet-stream，此参数表示通用的二进制类型。 四、获取MIMEType 向这个文件发个请求，来进行获取MIMEType /* 第一种方式获得MIMEType 说明： 1、你可以将此方法写成分类，以便今后方便使用。 2

目录 1、编写课上讲解的有参装饰器准备明天默写 2、在文件开头声明一个空字典，然后在每个函数前加上装饰器，完成自动添加到字典的操作 3、编写日志装饰器，实现功能如：一旦函数f1执行，则将消息2017-07-21 11:12:11 f1 run写入到日志文件中，日志文件路径可以指定 4、基于迭代器的方式，用while循环迭代取值字符串、列表、元组、字典、集合、文件对象 5、自定义迭代器实现range功能 1、编写课上讲解的有参装饰器准备明天默写 def auth(login_type): def outter(func): def warpper(*args,**kwargs): func(*args,**kwargs) if login_type=="mysql": print("基于数据库") elif login_type=="file": print("基于文件") return warpper return outter @auth("mysql") def my_mysql(): print("我是数据库函数") @auth("file") def my_file(): print("我是文件函数") my_mysql() my_file() 2、在文件开头声明一个空字典，然后在每个函数前加上装饰器，完成自动添加到字典的操作 d = {} count = -1 def d

培训目标： 理解大数据处理的分析思路与方法 提高大数据数据模型分析的技术架构设计能力 大数据分析的特征及工具 理解云计算虚拟化技术 理解Openstack相关技术架构与案例 大数据概述 大数据时代的数据特征与数据来源分析 大数据的积累和管理方法 辨析对大数据的误解 数据的生命周期 大数据时代的发展趋势 软件应用的泛互联网化 行业应用垂直整合 数据银行的诞生 大数据时代处理数据理念的三个大改变 大数据时代的核心技术 数据分析技术（Hadoop、MPI、BSP） 数据挖掘 可视化技术精解 预测技术 大数据的分布式处理的框架——Hadoop Hadoop 技术起源与发展及适用场景分析 Hadoop 技术目前厂家版本对比与产品特征分析HDP、CDH等 Hadoop 电信行业应用实践案例解析 Hadoop HDFS 文件系统原理深入解析与HA，Federation Hadoop MapReduce 原理深入解析 Hadoop Yarn 原理深入解析 Hadoop 集群规划与注意事项 Hadoop 生态系统解析与架构设计技巧分享 云计算及 OpenStack 云平台技术概览 云计算及 OpenStack 云平台技术的机遇与挑战 OpenStack 开源社区现状、动态和未来方向 OpenStack 云计算边个对于国内外产业格局的影响及案例分析 openstack总体系统架构 nova系统架构概况

Kafka【第一篇】Kafka集群搭建 Kafka初识 1、Kafka使用背景 在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ 2、Kafka的定义 What is Kafka：它是一个分布式消息系统，由linkedin使用scala编写，用作LinkedIn的活动流（Activity Stream）和运营数据处理管道（Pipeline）的基础。具有高水平扩展和高吞吐量。 3、Kafka和其他主流分布式消息系统的对比 定义解释： 1、Java 和 scala都是运行在JVM上的语言。 2、erlang和最近比较火的和go语言一样是从代码级别就支持高并发的一种语言，所以RabbitMQ天生就有很高的并发性能，但是 有RabbitMQ严格按照AMQP进行实现，受到了很多限制。kafka的设计目标是高吞吐量，所以kafka自己设计了一套高性能但是不通用的协议，他也是仿照AMQP（ Advanced Message Queuing

1 为什么需要kafka （1）在我们大量使用分布式数据库、分布式计算集群的时候，是否会遇到这样的一些问题： 我们想分析下用户行为（pageviews），以便我们设计出更好的广告位 我想对用户的搜索关键词进行统计，分析出当前的流行趋势 有些数据，存储数据库浪费，直接存储硬盘效率又低 这些场景都有一个共同点： 数据是由上游模块产生，上游模块，使用上游模块的数据计算、统计、分析，这个时候就可以使用消息系统，尤其是分布式消息系统！ （2）具有高水平扩展和高吞吐量。 （3）动态扩容 （4）zk完美结合，分布式调用，应用于soa架构 2 kafka概念 Broker Kafka集群包含一个或多个服务器，这种服务器被称为broker [5] Topic 每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处） Partition Partition是物理上的概念，每个Topic包含一个或多个Partition. Producer 负责发布消息到Kafka broker Consumer 消息消费者，向Kafka broker读取消息的客户端。 Consumer Group

1 zookeeper如何实现高可用 1 zookeeper 多台构成集群实现高可用，有三种角色群首（leader），追随者（follower），观察者（observer）。 Leader作为整个ZooKeeper集群的主节点，负责响应所有对ZooKeeper状态变更的请求。它会将每个状态更新请求进行排序和编号，以便保证整个集群内部消息处理的FIFO Follower的逻辑就比较简单了。除了响应本服务器上的读请求外，follower还要处理leader的提议，并在leader提交该提议时在本地也进行提交。，leader和follower构成ZooKeeper集群的法定人数，也就是说，只有他们才参与新leader的选举、响应leader的提议。 如果ZooKeeper集群的读取负载很高，或者客户端多到跨机房，可以设置一些observer服务器，以提高读取的吞吐量。Observer和Follower比较相似，只有一些小区别：首先observer不属于法定人数，即不参加选举也不响应提议；其次是observer不需要将事务持久化到磁盘，一旦observer被重启，需要从leader重新同步整个名字空间。 2 zookeeper如何实现负载均衡？ 以前接触的负载均衡是通过VIP调度到各个节点。如：nginx+keepalived实现负载均衡和高可用

CRLF 指的是回车符(CR，ASCII 13，\r，%0d) 和换行符(LF，ASCII 10，\n，%0a)，操作系统就是根据这个标识来进行换行的，你在键盘输入回车键就是输出这个字符，只不过win和linux系统采用的标识不一样而已。 在HTTP当中HTTP的Header和Body之间就是用两个crlf进行分隔的，如果能控制HTTP消息头中的字符，注入一些恶意的换行，这样就能注入一些会话cookie和html代码，所以CRLF injection 又叫做 HTTP response Splitting，简称HRS。CRLF漏洞可以造成 Cookie会话固定 和 反射型XSS(可过waf) 的危害，注入XSS的利用方式：连续使用两次%0d%oa就会造成header和body之间的分离，就可以在其中插入xss代码形成反射型xss漏洞。 测试 CRLF注入漏洞的检测也和XSS漏洞的检测差不多。通过修改HTTP参数或URL，注入恶意的CRLF，查看构造的恶意数据是否在响应头中输出。主要是在看到有重定向或者跳转的地方，可以在跳转的地址添加 ?url=http://baidu.com/xxx%0a%0dSet-Cookie: test123=123 测试一下，通过查看响应包的数据查看结果。 GET /index.php?c=rpzy&a=query&type=all&value=123

介绍 RabbitMQ是一个在AMQP基础上完整的，可复用的企业消息系统。他遵循Mozilla Public License开源协议。 MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消 息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。 应用场景： RabbitMQ无疑是目前最流行的消息队列之一，对各种语言环境的支持也很丰富，作为一个.NET developer有必要学习和了解这一工具。消息队列的使用场景大概有3种： 1、系统集成，分布式系统的设计。各种子系统通过消息来对接，这种解决方案也逐步发展成一种架构风格，即“通过消息传递的架构”。 2、当系统中的同步处理方式严重影响了吞吐量，比如日志记录。假如需要记录系统中所有的用户行为日志，如果通过同步的方式记录日志势必会影响系统的响应速度，当我们将日志消息发送到消息队列，记录日志的子系统就会通过异步的方式去消费日志消息。 3、系统的高可用性，比如电商的秒杀场景。当某一时刻应用服务器或数据库服务器收到大量请求，将会出现系统宕机

3 月，跳不动了？>>> 引言 Apache Kafka (简称Kafka )最早是由LinkedIn开源出来的分布式消息系统，现在是Apache旗下的一个子项目，并且已经成为开源领域应用最广泛的消息系统之一。Kafka社区 也非常活跃，从0.9版本开始，Kafka的标语已经从“一个高吞吐量、分布式的消息系统”改为“一个分布式的流平台”。Kafka自LinkedIn 开源以来就以高性能、高吞吐量、分布式的特性著称。本书以0.10版本的源码为基础，深入分析了Kafka 的设计与实现，包括生产者和消费者的消息处理流程，新旧消费者不同的设计方式，存储层的实现，协调者和控制器如何确保Kafka集群的分布式和容错特性，两种同步集群工具MirrorMaker和uReplicator,流处理的两种API以及Kafka的些高级特性等 。本书适合Kafka开发人员阅读。 书本主页 书本目录 生产者 ：从一个生产者的示例开始，引出了新版本生产者的两种消息发送方式。生产者客户端通过记录收集器和发送线程，对消息集进行分组和缓存，并为目标节点创建生产请求，发送到不同的代理节点。接着介绍了与网络相关的Kafka通道、选择器、轮询等NIO操作。另外，还介绍了Scala版本的旧生产者，它使用阻塞通道的方式发送请求。最后，介绍了服务端采用 Reactor模式处理客户端的请求。 消费者：高级API和低级API