吞吐量

QPS 原理：每天80%的访问集中在20%的时间里，这20%时间叫做峰值时间。 公式：( 总PV数 * 80% ) / ( 每天秒数 * 20% ) = 峰值时间每秒请求数(QPS) 。 机器：峰值时间每秒QPS / 单台机器的QPS = 需要的机器 。 每天300w PV 的在单台机器上，这台机器需要多少QPS？ ( 3000000 * 0.8 ) / (86400 * 0.2 ) = 139 (QPS)。 一般需要达到139QPS，因为是峰值。 QPS 每秒查询率QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。 每秒查询率 因特网上，经常用每秒查询率来衡量域名系统服务器的机器的性能，其即为QPS。 对应fetches/sec，即每秒的响应请求数，也即是最大吞吐能力。 计算机语言 一种计算机编程语言。用于数据分析和报表产出。运作的平台是MRDCL。支持的数据文件包括ASC格式和CSI格式。 其中CSI格式为QPS独有数据格式。是极其专业的用于数据分析、数据清理和报表产出的语言，目前应用最广的是市场调研行业。中国国内运用的相对比较少。 开发的原因，需要对吞吐量（TPS）、QPS、并发数、响应时间（RT）几个概念做下了解，查自百度百科，记录如下： 1. 响应时间(RT) 　　响应时间是指系统对请求作出响应的时间。直观上看

在测试性能的时候，我们需要对吞吐量（TPS）、QPS、并发数、响应时间（RT）几个概念做如下了解： 1、响应时间RT（response time） 　　响应时间是指系统对请求作出响应的时间。直观上看，这个指标与人对软件性能的主观感受是非常一致的，因为它完整地记录了整个计算机系统处理请求的时间。由于一个系统通常会提供许多功能，而不同功能的处理逻辑也千差万别，因而不同功能的响应时间也不尽相同，甚至同一功能在不同输入数据的情况下响应时间也不相同。所以，在讨论一个系统的响应时间时，人们通常是指该系统所有功能的平均时间或者所有功能的最大响应时间。当然，往往也需要对每个或每组功能讨论其平均响应时间和最大响应时间。 　　对于单机的没有并发操作的应用系统而言，人们普遍认为响应时间是一个合理且准确的性能指标。需要指出的是，响应时间的绝对值并不能直接反映软件的性能的高低，软件性能的高低实际上取决于用户对该响应时间的接受程度。对于一个游戏软件来说，响应时间小于100毫秒应该是不错的，响应时间在1秒左右可能属于勉强可以接受，如果响应时间达到3秒就完全难以接受了。而对于编译系统来说，完整编译一个较大规模软件的源代码可能需要几十分钟甚至更长时间，但这些响应时间对于用户来说都是可以接受的。 2、吞吐量(Throughput) 　　吞吐量是指系统在单位时间内处理请求的数量。对于无并发的应用系统而言

作者：范欣欣 本次测试主要评估线上HBase的整体性能，量化当前HBase的性能指标，对各种场景下HBase性能表现进行评估，为业务应用提供参考。本篇文章主要介绍此次测试的基本条件，HBase在各种测试场景下的性能指标（主要包括单次请求平均延迟和系统吞吐量）以及对应的资源利用情况，并对各种测试结果进行分析。 测试环境 测试环境包括测试过程中HBase集群的拓扑结构、以及需要用到的硬件和软件资源，硬件资源包括：测试机器配置、网络状态等等，软件资源包括操作系统、HBase相关软件以及测试工具等。 集群拓扑结构 本次测试中，测试环境总共包含4台SA5212H2物理机作为数据存储。生成数据的YCSB程序与数据库并不运行在相同的物理集群。 单台机器主机硬件配置 软件版本信息 测试工具 YCSB全称Yahoo! Cloud Serving Benchmark，是Yahoo公司开发的专门用于NoSQL测试的基准测试工具。github地址：https://github.com/brianfrankcooper/YCSB YCSB支持各种不同的数据分布方式 1. Uniform：等概论随机选择记录 2. Zipfian：随机选择记录，存在热记录 3. Latest：近期写入的记录为热记录 测试场景 YCSB为HBase提供了多种场景下的测试，本次测试中，我们导入10亿条数据，并对如下场景进行测试:

作者：范欣欣 本次测试主要评估线上HBase的整体性能，量化当前HBase的性能指标，对各种场景下HBase性能表现进行评估，为业务应用提供参考。本篇文章主要介绍此次测试的基本条件，HBase在各种测试场景下的性能指标（主要包括单次请求平均延迟和系统吞吐量）以及对应的资源利用情况，并对各种测试结果进行分析。 测试环境 测试环境包括测试过程中HBase集群的拓扑结构、以及需要用到的硬件和软件资源，硬件资源包括：测试机器配置、网络状态等等，软件资源包括操作系统、HBase相关软件以及测试工具等。 集群拓扑结构 本次测试中，测试环境总共包含4台SA5212H2物理机作为数据存储。生成数据的YCSB程序与数据库并不运行在相同的物理集群。 单台机器主机硬件配置 软件版本信息 测试工具 YCSB全称Yahoo! Cloud Serving Benchmark，是Yahoo公司开发的专门用于NoSQL测试的基准测试工具。github地址：https://github.com/brianfrankcooper/YCSB YCSB支持各种不同的数据分布方式 1. Uniform：等概论随机选择记录 2. Zipfian：随机选择记录，存在热记录 3. Latest：近期写入的记录为热记录 测试场景 YCSB为HBase提供了多种场景下的测试，本次测试中，我们导入10亿条数据，并对如下场景进行测试:

消息队列 为什么要用消息队列，都有什么优缺点？ 要问的是消息队列都有哪些场景，然后项目里具体实现的什么场景，你在这个场景里用的什么消息队列？ 期望的回答是， 你们公司有个什么业务，这个业务场景有什么技术挑战，如果不用MQ可能会很麻烦，但是你现在用了MQ带给你什么好处？ 场景比较多，但是比较核心的是3个： 解耦、异步、削峰 解耦 ​ 需要去考虑你负责的系统中是否有类似的场景，一个系统调用了多个系统和模块，互相之间的调用很复杂，维护起来很麻烦。但是这个调用并不需要直接同步调用接口，如果用MQ给它异步化解耦，也是可以的，你就需要 考虑在你的项目中，是不是可以运用这个MQ去进行解耦。在简历中体现出来 异步化 异步化可以大幅度提升高延迟接口的性能 削锋： 未使用MQ的时候： 使用MQ以后： 系统架构中引入MQ后可能存在的缺陷： 系统可用性降低：系统引入的外部依赖越多，越容易挂掉。 系统的复杂性更高：需要考虑的问题越多 一致性问题 问题2：kafka,activeMq,rabbitMq,rocketMq 都有什么优缺点？ 特性 ACTIVEMQ RABBITMQ ROCKETMQ KAFKA 单击吞吐量 万级吞吐量，相比RocketMq和Kafka要第一个数量级 万级，吞吐量相比RocketMq和 Kafka要低一个数量级 10万级，RocketMq也是可以支撑高吞吐的一种MQ 10万级别

Iperf 是一个网络性能测试工具。Iperf可以测试TCP和UDP带宽质量。Iperf可以测量最大TCP带宽， 具有多种参数和UDP特性。Iperf可以报告带宽，延迟抖动和数据包丢失。 Iperf使用方法与参数说明 参数说明 -s 以server模式启动，eg：iperf -s -c host 以client模式启动，host是server端地址，eg：iperf -c 222.35.11.23 通用参数 -f [k|m|K|M] 分别表示以Kbits, Mbits, KBytes, MBytes显示报告，默认以Mbits为单位,eg:iperf -c 222.35.11.23 -f K -i sec 以秒为单位显示报告间隔，eg:iperf -c 222.35.11.23 -i 2 -l 缓冲区大小，默认是8KB,eg:iperf -c 222.35.11.23 -l 16 -m 显示tcp最大mtu值 -o 将报告和错误信息输出到文件eg:iperf -c 222.35.11.23 -o c:\iperflog.txt -p 指定服务器端使用的端口或客户端所连接的端口eg:iperf -s -p 9999;iperf -c 222.35.11.23 -p 9999 -u 使用udp协议 -w 指定TCP窗口大小，默认是8KB -B 绑定一个主机地址或接口

Apache Flink（下简称Flink）项目是大数据处理领域最近冉冉升起的一颗新星，其不同于其他大数据项目的诸多特性吸引了越来越多人的关注。本文将深入分析Flink的一些关键技术与特性，希望能够帮助读者对Flink有更加深入的了解，对其他大数据系统开发者也能有所裨益。本文假设读者已对MapReduce、Spark及Storm等大数据处理框架有所了解，同时熟悉流处理与批处理的基本概念。 Flink简介 Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务： DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理，支持Java、Scala和Python。 DataStream API，对数据流进行流处理操作，将流式的数据抽象成分布式的数据流，用户可以方便地对分布式数据流进行各种操作，支持Java和Scala。 Table API，对结构化数据进行查询操作，将结构化数据抽象成关系表，并通过类SQL的DSL对关系表进行各种查询操作，支持Java和Scala。 此外，Flink还针对特定的应用领域提供了领域库，例如： Flink ML，Flink的机器学习库

一、引言 对于数据量传输大的设备，往往对网络的要求较高，所以当我们选取芯片是，吞吐量就成了很很重要的检测方式，本文简单介绍iperf工具的使用 二、iperf 1、简介 Iperf 是一个网络性能测试工具。Iperf可以测试TCP和UDP带宽质量。Iperf可以测量最大TCP带宽， 具有多种参数和UDP特性。Iperf可以报告带宽，延迟抖动和数据包丢失。 在Android中有对应的apk安装包可以下载，与主机相连进行测试 2、使用 在使用iperf的时候，需要两台设备进行测试，一台作为服务器，一台作为客户端来连接服务器 服务器 一般我们使用window，或在linux设备作为主机，下载iperf很方便，本文暂不介绍。 使用的命令：一般直接输入以下命令 xxxx:~$ iperf -s ------------------------------------------------------------ Server listening on TCP port 5001 TCP window size: 128 KByte ( default ) ------------------------------------------------------------ 即可开启服务端，服务器地址为本设备的IP，端口为上所述 客户端 在客户端运行iperf，输入命令iperf –c

计算机系统的总体性能标准是响应时间和吞吐量。 响应时间 是提交请求和返回该请求的响应之间使用的时间。示例包括： 数据库 查询花费的时间 将字符回显到终端上花费的时间 访问 Web 页面花费的时间 吞吐量 是对单位时间内完成的 工作 量的量度。示例包括： 每分钟的数据库事务 每秒传送的文件千字节数 每秒读或写的文件千字节数 每分钟的 Web 服务器命中数 这些度量之间的关系很复杂。有时可能以响应时间为代价而得到较高的吞吐量，而有时候又要以吞吐量为代价得到较好的响应时间。在 其他 情况下，一个单独的更改可能对两者都有提高。可接受的性能基于合理的吞吐量与合理的响应时间相结合。" ----摘抄于 IBM-性能目标 http://publib.boulder.ibm.com/infocenter/systems/index.jsp?topic=/com.ibm.aix.prftungd/doc/prftungd/corr_svmon_ps_outputs.htm 悟:曾经在实际的 测试 工作中遇到这种情况,某一个应用程序,用LR进行 性能测试 ,项目组曾经把思考时间分别设为10秒和0秒,得到了两个差别较大的并发数,曾经有位资深人士说,如果思考时间够大,即使用很差的机器也能做出很大的并发数. 在性能测试中，作为评价性能好坏的两个重要指标：吞吐量和响应时间， 是很容易让人混淆的。 吞吐量

一、为什么要合并图表 说明：合并图表是为了更好的定位系统瓶颈，比如把虚拟用户运行图和平均响应事务时间合并，能直观体现虚拟用户数量 对服务器处理事务产生的影响； 二、Analysis合并图 1. Running Vusers(虚拟运行用户) 2. Average Transaction Response Time(平均事务响应时间) 说明：在合并之前，我们先拿两张图来演示 1). Running Vusers(虚拟运行用户) 2). Transaction Response Time(平均事务响应时间) 2.1 合并图操作说明 1. 操作说明： 1). 打开合并选项菜单 (Ctrl+M 或者 在要合并的图表上点击鼠标右键->merge Graphs) 2). 标1：选择要合并的图(并入) 如：Running Vusers 3). 标2：选择并入的方式： (1). Overlay(叠加) (2). Tile(平铺) (3). Correlate(关联) 2.2 合并方式-Overlay(叠加) 说明：两个图使用相同的X轴，并入的图Y轴合并后在最右侧； 2.3 合并方式-Tile(平铺) 说明：两个图公用一个X轴，Y轴各自保持不变，并入图在上方； 2.4 合并方式-Correlate(关联) 说明： 1. 主图的Y轴变成合并后的X轴，合并图的Y轴，为合并后的Y轴； 2. 合并的时候