msec

总共分为三步： 第一步安装配置hadoop： 搭建hadoop+spark+hive环境（centos全远程hadoop极速安装及配置） 第二步安装配置spark： 搭建hadoop+spark+hive环境（centos极速安装和配置spark） 第三步安装配置hive： 搭建hadoop+spark+hive环境（centos极速安装和配置hive） I、下载并且解压hive #下载hive wget http: // apache.claz.org/hive/hive-2.3.6/apache-hive-2.3.6-bin.tar.gz #解压 tar zxf apache-hive- 2.3 . 6 -bin. tar .gz #移动到hadoop文件夹中 mv apache-hive- 2.3 . 6 -bin /usr/local/hadoop/hive- 2.1 . 1 #配置系统环境变量 vim /etc/profile #添加下面三行 export HIVE_HOME=/usr/local/hadoop/hive export HIVE_CONF_DIR=$HIVE_HOME/conf export PATH=$PATH:$HIVE_HOME/bin II、安装其他依赖包 1、mysql-connector驱动 #下载mysql- connector 驱动

有几题需要用到书本配套的网站, 由于注册不成功没能用上附带的java小程序, 但都从网上查到了数据, 网上许多答案都是重复的, 也不知哪个是原创就不表明出处了. 基本都是个人回答, 比较粗糙, 如有错误, 欢迎指出. 第一章 计算机网络和因特网 课后复习题 第二章 应用层 课后复习题 第三章 运输层 课后复习题 第四章 网络层:数据平面 课后复习题 第五章 网络层:控制平面 课后复习题 第六章 链路层和局域网 课后复习题 第一章 计算机网络和因特网 1.1节 R1. "主机"和"端系统"之间由什么不同? 列举几种不同类型的端系统. Web服务器是一种端系统吗? 在自顶向下中主机等同于端系统, 两者在概念上是统一的, 没有区别. 生活中与因特网相连的计算机, 智能手机, 游戏机等都属于端系统. Web服务器也属于端系统. R2. "协议"一词常被用于描述外交关系. 维基百科是怎样描述外交协议的? 外交协议指国际礼仪规则. 这些规则以文明原则为基础, 使各国人民更容易生活和工作在一起. R3. 标准对于协议为什么重要? 有了标准协议才能生效, 端系统才能基于协议制定的标准进行通信. 1.2节 R4. 列出六种接入技术. 将它们分类为住宅接入, 公司接入或广域无线接入. 住宅接入: 数字用户线(Digital Subscriber Line, DSL):

命令行工具 dig 是用于解析域名和故障排查的一个利器。 从主要功能上来说，dig 和 nslookup 之间差异不大，但 dig 更像一个加强版的 nslookup，可以查询到一些由域名服务器管理的信息，这在排查某些问题的时候非常有用。总的来说，dig 是一个既简单易用又功能强大的命令行工具。（LCTT 译注：dig 和 nslookup 行为的主要区别来自于 dig 使用是是操作系统本身的解析库，而 nslookup 使用的是该程序自带的解析库，这有时候会带来一些行为差异。此外，从表现形式上看，dig 返回是结果是以 BIND 配置信息的格式返回的，也带有更多的技术细节。） dig 最基本的功能就是查询域名信息，因此它的名称实际上是“域名信息查询工具Domain Information Groper”的缩写。dig 向用户返回的内容可以非常详尽，也可以非常简洁，展现内容的多少完全由用户在查询时使用的选项来决定。 我只需要查询 IP 地址 如果只需要查询某个域名指向的 IP 地址，可以使用 +short 选项： $ dig facebook.com +short 31.13.66.35 在查询的时候发现有的域名会指向多个 IP 地址？这其实是网站提高其可用性的一种措施。 $ dig networkworld.com +short 151.101.2.165 151.101.66

nginx的共享内存，是其能够实现高性能的主要原因之一，而其主要是用于对文件的缓存。本文首先会讲解共享内存的使用方式，然后会讲解nginx是如何实现共享内存的管理的。 1. 使用示例 nginx声明共享内存的指令为： proxy_cache_path /Users/Mike/nginx-cache levels=1:2 keys_zone=one:10m max_size=10g inactive=60m use_temp_path=off; 这里只是声明的一个名称为one，最大可用内存为10g的共享内存。这里面各个参数的含义如下： /Users/Mike/nginx-cache ：这是一个路径参数，指定了将共享内存所缓存的文件的存储位置。这里为什么会生成文件的原因在于，对于上游服务发出的响应，是可以将其生成一个文件存储在nginx上的，后续如果有同样的请求，就可以直接读取该文件或者读取共享内存中的缓存以响应客户端； levels ：在linux操作系统中，如果所有文件都放在一个文件夹中，那么当文件数量非常多的时候，可能一个磁盘驱动就无法读取这么多文件了，如果放置在多个文件夹中，那么就能够利用多个驱动并且读取的优点。这里的levels参数指定的就是如何生成文件夹。假设nginx为上游服务的某个响应数据生成的文件名为 e0bd86606797639426a92306b1b98ad9

前言： 本文介绍了饿了么交付中心由python语言栈转换到java语言栈大致过程,一来是对前段时间的工作做下总结，另外也是想通过此次总结为其他应用服务转型提供些借鉴。写的不好，欢迎板砖。 背景 饿了么并入阿里集团,为了能高效与集团内部系统协同对接,同时方便利用集团优势技术资源,更好的融入阿里集团技术生态圈,饿了么交易中台在上半年启动了交易领域的四大应用语言栈转型项目，为阿里集团本地生活服务平台打好技术平台基础做准备。另外，随着业务量的激增,饿了么平台支持的品类不仅仅是最初的外卖单品，整个交易中台也需要一次相对大的重构来快速应对复杂多变的业务需求。而本文中的交付中心即是饿了么交易领域四大应用之一。 准备 在开展相关工作之前，首先必须得清楚我们是要将一个系统从什么样变成什么样，新的系统相较老的系统在哪些方面做的更好，同时必须保证新老系统的无缝切换，做到业务无感不影响交易系统的稳定性。 系统价值 外卖订单的业务特点是重交易,c端用户从下单选餐到骑手完成餐品交付过程，目前大部分都能在半小时左右完成，对即时配送实时性要求较高。整个订单交易过程大致划分为:1.添加购物车确认订单，2.订单生成及订单支付，3.接单及订单交付，4.可能的售后退单。而要更好的服务用户，对四个系统稳定的协同能力提出很高的要求。 如前文所述，我们知道履约环节对交易订单的价值是什么，即是将外卖订单对应的餐品交付到用户手中

一、日志（Log） 日志（Log） 是系统在运行过程中变化的一种抽象，其内容为指定对象的某些操作和其操作结果按时间的有序集合。文件日志（LogFile）、事件（Event）、数据库日志（BinLog）、度量（Metric）数据都是日志的不同载体。在文件日志中，每个日志文件由一条或多条日志组成，每条日志描述了一次单独的系统事件，是日志服务中处理的最小数据单元。 二、日志服务 Log Service是针对日志类数据的一站式服务。 1.实时采集与消费（LogHub） 用途：数据清洗（ETL）、流计算（Stream Compute）、监控与报警、 机器学习与迭代计算。 2.查询与实时分析（Search/Analytics） 用途：DevOps/线上运维，日志实时数据分析，安全诊断与分析，运营与客服系统 3.投递数仓（LogShipper） 用途：数据仓库 + 数据分析、审计、推荐系统与用户画像。 三、概念 日志库（Logstore） 是日志服务中日志数据的收集、存储和查询单元。每个日志库隶属于一个项目，且每个项目可以创建多个日志库。 分区（Shard每个日志库分若干个 分区（Shard） ，每个分区由MD5左闭右开区间组成，每个区间范围不会相互覆盖，并且所有的区间的范围是MD5整个取值范围。 文件日志（LogFile）、事件（Event）、数据库日志（BinLog）、度量（Metric

一直用着阿里云的windows环境做服务器，主要是感觉操作习惯，同时也一直感觉运行速度不会差别太大，那天闲着看了看腾讯云，发现很便宜，买来一个玩玩，同时用来测试一下性能对比。 测试用的php代码 <?php function msec() { list($sec,$msec) = explode(' ', microtime()); return (floatval($sec) + floatval($msec)) ; } $s_time = msec(); function fib($n) { if ($n == 1 || $n == 2) { return 1; } return fib($n - 1) + fib($n - 2); } echo fib(40); $e_time = msec(); echo '<br>'; echo $e_time - $s_time; 测试用的机器环境及成绩 1、阿里云4核4G云服务器，win server 2008 + iis7 + php7.1.9 平均时间33.000211000443秒 2、阿里云1核1G云服务器，win server 2008 + iis7 + php7.1.9 平均时间 33.249149084091秒 3、阿里云1核1G云服务器 ，centos 7.2 64 + 宝塔LNMP + php 7 （编译安装）

前言 随机写会导致磁头不停地换道，造成效率的极大降低 顺序写磁头几乎不用换道，或者换道的时间很短 fio 介绍 fio的输出报告中的几个关键指标: slat: 是指从 I/O 提交到实际执行 I/O 的时长（Submission latency） clat: 是指从 I/O 提交到 I/O 完成的时长（Completion latency） lat: 指的是从 fio 创建 I/O 到 I/O 完成的总时长 bw : 吞吐量 iops: 每秒 I/O 的次数 同步写测试 同步随机写 使用strace工具查看系统调用 strace -f -tt -o /tmp/randwrite.log -D fio -name=randwrite -rw=randwrite \ -direct=1 -bs=4k -size=1G -numjobs=1 -group_reporting -filename=/tmp/test.db 提取关键信息 root@wilson-ubuntu:~# strace -f -tt -o /tmp/randwrite.log -D fio -name=randwrite -rw=randwrite \ > -direct=1 -bs=4k -size=1G -numjobs=1 -group_reporting -filename=/tmp/test.db

nginx的共享内存，是其能够实现高性能的主要原因之一，而其主要是用于对文件的缓存。本文首先会讲解共享内存的使用方式，然后会讲解nginx是如何实现共享内存的管理的。 1. 使用示例 nginx声明共享内存的指令为： proxy_cache_path /Users/Mike/nginx-cache levels=1:2 keys_zone=one:10m max_size=10g inactive=60m use_temp_path=off; 这里只是声明的一个名称为one，最大可用内存为10g的共享内存。这里面各个参数的含义如下： /Users/Mike/nginx-cache ：这是一个路径参数，指定了将共享内存所缓存的文件的存储位置。这里为什么会生成文件的原因在于，对于上游服务发出的响应，是可以将其生成一个文件存储在nginx上的，后续如果有同样的请求，就可以直接读取该文件或者读取共享内存中的缓存以响应客户端； levels ：在linux操作系统中，如果所有文件都放在一个文件夹中，那么当文件数量非常多的时候，可能一个磁盘驱动就无法读取这么多文件了，如果放置在多个文件夹中，那么就能够利用多个驱动并且读取的优点。这里的levels参数指定的就是如何生成文件夹。假设nginx为上游服务的某个响应数据生成的文件名为 e0bd86606797639426a92306b1b98ad9

一、日志（Log） 日志（Log） 是系统在运行过程中变化的一种抽象，其内容为指定对象的某些操作和其操作结果按时间的有序集合。文件日志（LogFile）、事件（Event）、数据库日志（BinLog）、度量（Metric）数据都是日志的不同载体。在文件日志中，每个日志文件由一条或多条日志组成，每条日志描述了一次单独的系统事件，是日志服务中处理的最小数据单元。 二、日志服务 Log Service是针对日志类数据的一站式服务。 1.实时采集与消费（LogHub） 用途：数据清洗（ETL）、流计算（Stream Compute）、监控与报警、 机器学习与迭代计算。 2.查询与实时分析（Search/Analytics） 用途：DevOps/线上运维，日志实时数据分析，安全诊断与分析，运营与客服系统 3.投递数仓（LogShipper） 用途：数据仓库 + 数据分析、审计、推荐系统与用户画像。 三、概念 日志库（Logstore） 是日志服务中日志数据的收集、存储和查询单元。每个日志库隶属于一个项目，且每个项目可以创建多个日志库。 分区（Shard每个日志库分若干个 分区（Shard） ，每个分区由MD5左闭右开区间组成，每个区间范围不会相互覆盖，并且所有的区间的范围是MD5整个取值范围。 文件日志（LogFile）、事件（Event）、数据库日志（BinLog）、度量（Metric