数据整合

废话不多说，简短精悍地贴出来。 项目结构图： 步骤如下： （1），如果没有redis 的，先去安装一个redis。下载地址： redis 下载安装包地址 创建一个普通的Springboot项目。 （2）pom 代码。 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>2.0.5.RELEASE</version> <relativePath/> <!-- lookup parent from repository --> </parent> <groupId

1. Flume介绍 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 agent agent本身是一个Java进程，运行在日志收集节点—所谓日志收集节点就是服务器节点。 agent里面包含3个核心的组件：source—->channel—–>sink,类似生产者、仓库、消费者的架构。 source source组件是专门用来收集数据的，可以处理各种类型、各种格式的日志数据,包括avro、thrift、exec、jms、spooling directory、netcat、sequence generator、syslog、http、legacy、自定义。 channel source组件把数据收集来以后，临时存放在channel中，即channel组件在agent中是专门用来存放临时数据的——对采集到的数据进行简单的缓存，可以存放在memory、jdbc、file等等。 sink sink组件是用于把数据发送到目的地的组件，目的地包括hdfs、logger、avro、thrift、ipc、file、null、Hbase、solr、自定义。 event 将传输的数据进行封装

sqoop是一个数据导入导出的工具，可以将关系型数据库当中的数据导入到大数据平台来，也可以将大数据平台当中的数据导入到关系型数据库当中去 我们也可以通过sqoop导入数据到hbase或者从hbase当中导出数据 需求一 ： 将 mysql表当中的数据导入到 HB ase当中来 第一步 ： 修改 sqoop 配置 文件 sqoop导入导出HBase的数据，需要修改sqoop的配置文件sqoop-env.sh cd /export/servers/sqoop-1.4.6-cdh5.14.0/conf vim sqoop-env.sh #Set path to where bin/hadoop is available export HADOOP_COMMON_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0 #Set path to where hadoop-*-core.jar is available export HADOOP_MAPRED_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0 #set the path to where bin/hbase is available export HBASE_HOME=/export/servers/hbase-1.2.0-cdh5.14.0 #Set

2、尚硅谷_SSM高级整合_使用ajax操作实现页面的查询功能 16、尚硅谷_SSM高级整合_查询_返回分页的json数据.avi 在上一章节的操作中我们是将PageInfo对象存储在request域中，然后list页面解析request域中的对象实现信息的显示。但是上面的操作只适合客户端是浏览器的情况。如果客户端是android，也要查询人员列表信息，这个时候服务器返回的数据应该是json数据，所以我们需要对后台的控制层进行改造。返回的数据应该是json数据，json数据浏览器可以解析，android客户端也可以解析 控制层要返回json数据需要使用到@reponsebody，需要用到jack jar包 <!-- 返回json字符串的支持 --> <!-- https://mvnrepository.com/artifact/com.fasterxml.jackson.core/jackson-databind --> <dependency> <groupId>com.fasterxml.jackson.core</groupId> <artifactId>jackson-databind</artifactId> <version>2.8.8</version> </dependency> 这里我们返回的json数据：应该包括返回状态、业务处理结果等

802.11ac知识整合 一、802.11ac简介 　　IEEE 802.11工作组在2013年发布了802.11ac的标准，802.11ac（VHT，Very High Throughput）是基于5G频段的802.11n（HT, High Throughput）技术的演进版本，通过物理层、MAC层一系列技术更新实现对1Gbps以上传输速率的支持，它的最高速率可达6.9Gbps，并且支持诸如MU-MIMO这样高价值的技术。 　　802.11ac是802.11n的继承者。它采用并扩展了源自802.11n的空中接口（air interface）概念，包括：更宽的RF带宽（提升至160MHz），更多的MIMO空间流（增加到 8），下行多用户的 MIMO（最多至4个），以及高密度的调变（达到 256QAM）。 　　2013年推出的第一批802.11ac产品称为Wave1，2016年推出的较新的高带宽产品称为Wave2。 二、名词解释 　　VHT（Very High Throughput）：极高吞吐量，即采用802.11ac引入的调制编码方式传输，提高了传输速率 　　OFDM（Orthogonal Frequency Division Multiplexing）：正交多载波调制 　　MCS（Modulation and Coding Scheme）：调制编码表，就是规定了空间流数目、编码

Jwt是什么？ json web token。它将用户信息加密到token里，服务器不保存任何用户信息。服务器通过使用保存的密钥验证token的正确性，只要正确即通过验证。 优点 简洁: 可以通过URL、POST参数或者在HTTP header发送，因为数据量小，传输速度也很快； 自包含：负载中可以包含用户所需要的信息，避免了多次查询数据库； 因为Token是以JSON加密的形式保存在客户端的，所以JWT是跨语言的，原则上任何web形式都支持； 不需要在服务端保存会话信息，特别适用于分布式微服务。 不足 无法作废已颁布的令牌； 不易应对数据过期。 一、Jwt消息构成 1.1 组成 ： 一个token分3部分，按顺序为 头部（header)， 2. 载荷（payload)， 3. 签证（signature) 。 三部分之间用.号做分隔。例如：eyJ0eXAiOiJKV1QiLCJhbGciOiJIUzI1NiJ9.eyJhdWQiOiIxYzdiY2IzMS02ODFlLTRlZGYtYmU3Yy0wOTlkODAzM2VkY2UiLCJleHAiOjE1Njk3Mjc4OTF9.wweMzyB3tSQK34Jmez36MmC5xpUh15Ni3vOV_SGCzJ8 1.2 header， Jwt的头部承载两部分信息： 声明类型，这里是Jwt， 2. 声明加密的算法 通常直接使用

springbatch几个概念 springbatch是一个用于进行批处理数据的轻量级框架，用于后台批量执行一些大数据相关的任务，和spring无缝整合 先来看看官方的一张关于springbatch的架构图 Job 任务 Step 任务里包含的步骤 ItemReader 单个步骤里的输入(input) ItemProccesor input的处理 ItemWriter 单个步骤里的输出(output) ItemReader，ItemProccesor，ItemWriter这个类似于java 8里funtional编程 spring batch 主要对象介绍 对象 描述 job 作业。批处理中的核心概念，是Batch操作的基础单元 JobInstance 作业实例。每个作业执行时，都会生成一个实例，实例会被存放在JobRepository中，如果作业失败，下次重新执行该作业时，会使用同一个作业实例。对于Job和JobInstance的关系，可以理解为Java中类和实例对象的关系。 – – JobParameters 作业参数。它是一组用来启动批处理任务的参数，在启动Job的时候，可以设置任何需要的作业参数。需要注意的是作业参数会用来标识作业实例，即不同的Job实例是通过Job参数的来区分的。 JobExecution 作业执行器。负责具有Job的执行

各大平台免费接口，非常适用 http://developer.51cto.com/art/201412/458778.htm 绝对干货：供个人开发者赚钱免费使用的一些好的API接口 http://www.360doc.com/content/15/1021/01/13370135_507200816.shtml 易源数据(大部分免费) 实用 https://www.showapi.com/api/lookPoint/9 违章数据查询 http://www.loopon.cn/ 路帮网(免费来源) 天气数据来源 通过城市名字获得天气数据，json数据 http://wthrcdn.etouch.cn/weather_mini?citykey=101010100 通过城市id获得天气数据，json数据 http://wthrcdn.etouch.cn/WeatherApi?citykey=101010100 通过城市id获得天气数据，xml文件数据, 当错误时会有<error>节点 http://wthrcdn.etouch.cn/WeatherApi?city=北京 通过城市名字获得天气数据，xml文件数据 和风天气免费api: http://www.heweather.com/products 阿凡达免费api接口: http://www.avatardata.cn/Docs

摘要 Hive提供了与HBase的集成，使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询、同时也可以将hive表中的数据映射到Hbase中。 应用场景 2.1 将ETL操作的数据存入HBase 2.2 HBase作为Hive的数据源 2.3 构建低延时的数据仓库 环境准备 3.1 hive与hbase整合环境配置 修改hive-site.xml文件，添加配置属性（zookeeper的地址） [root @hadoop01 conf] # vim hive-site.xml <property> <name> hbase.zookeeper.quorum </name> <value> node1:2181,node2:2181,node3:2181 </value> </property> 引入hbase的依赖包 将hbase安装目录下的lib文件夹下的包导入到hive的环境变量中，在 hive-env.sh 文件中添加 [root @hadoop01 conf] # vim hive-env.sh export HIVE_CONF_DIR=/usr/local/hive/conf export HIVE_CLASSPATH= $HIVE_CLASSPATH : $HBASE_HOME /lib/* 至此

Redis 概述 在我们日常的Java Web开发中，无不都是使用数据库来进行数据的存储，由于一般的系统任务中通常不会存在高并发的情况，所以这样看起来并没有什么问题，可是一旦涉及大数据量的需求，比如一些商品抢购的情景，或者是主页访问量瞬间较大的时候，单一使用数据库来保存数据的系统会因为面向磁盘，磁盘读/写速度比较慢的问题而存在严重的性能弊端，一瞬间成千上万的请求到来，需要系统在极短的时间内完成成千上万次的读/写操作，这个时候往往不是数据库能够承受的，极其容易造成数据库系统瘫痪，最终导致服务宕机的严重生产问题。 一般而言在使用 Redis 进行存储的时候，我们需要从以下几个方面来考虑： 业务数据常用吗？命中率如何？ 如果命中率很低，就没有必要写入缓存； 该业务数据是读操作多，还是写操作多？ 如果写操作多，频繁需要写入数据库，也没有必要使用缓存； 业务数据大小如何？ 如果要存储几百兆字节的文件，会给缓存带来很大的压力，这样也没有必要； 在考虑了这些问题之后，如果觉得有必要使用缓存，那么就使用它！使用 Redis 作为缓存的读取逻辑如下图所示： 从上图我们可以知道以下两点： 当 第一次读取数据的时候 ，读取 Redis 的数据就会失败，此时就会触发程序读取数据库，把数据读取出来，并且写入 Redis 中； 当 第二次以及以后需要读取数据时 ，就会直接读取 Redis