数据整合

一、目录展示 　　 二、导入依赖 　　 三、配置文件application.yml 　　 四、Student实体类 　　 package com.zn.entity; public class Student { private Integer stu_id; private String stu_name; @Override public String toString() { return "Student{" + "stu_id=" + stu_id + ", stu_name='" + stu_name + '\'' + '}'; } public Student() { } public Student(String stu_name) { this.stu_name = stu_name; } public Student(Integer stu_id, String stu_name) { this.stu_id = stu_id; this.stu_name = stu_name; } public Integer getStu_id() { return stu_id; } public void setStu_id(Integer stu_id) { this.stu_id = stu_id; } public String getStu_name() {

systemctl start mysqld //启动数据库服务 (status查看状态) systemctl enable mysqld //设置开机自启 /etc/my.cnf //mysql主配置文件 /var/lib/mysql //数据库目录 3306 //默认端口(ss -utnlp | grep :3306) mysqld //mysql主进程名称 tcp //传输协议 mysql:mysql //进程所以者与所属组(chown -R) /var /log/mysqld.log //错误文件 grep password /var/log/mysqld.log //第一次启动时,我们需要进日志查看配置随机密码 0或者LOW validate_password_policy 1 或者 MEDIUM(默认) 2 或者 STRONG set global validate_password_policy=0; //只验证长度 set global validate_password_length=6; //修改密码长度,默认值是8个字符 alter user user() identified by “123456”; //修改登陆密码 vim /etc/my.cnf //修改配置添加如下内容 [mysqld] validate_password_policy=0

1.redis起步依赖 < ! -- 配置使用redis启动器 -- > < dependency > < groupId > org . springframework . boot < / groupId > < artifactId > spring - boot - starter - data - redis < / artifactId > < / dependency > 2.在application.preperties中配置连接信息 #Redis spring . redis . host = 127.0 .0 .1 spring . redis . port = 6379 3.测试redis操作 package com . itheima ; import com . fasterxml . jackson . core . JsonProcessingException ; import com . fasterxml . jackson . databind . ObjectMapper ; import com . itheima . domain . User ; import com . itheima . mapper . UserMapper ; import org . junit . Test ; import org . junit .

  SpringBoot 整合 Redis 数据库实现数据缓存的本质是整合 Redis 数据库，通过对需要“缓存”的数据存入 Redis 数据库中，下次使用时先从 Redis 中获取，Redis 中没有再从数据库中获取，这样就实现了 Redis 做数据缓存。   按照惯例，下面一步一步的实现 Springboot 整合 Redis 来存储数据，读取数据。 一、POM 文件添加 Redis 环境   首页第一步还是在项目添加 Redis 的环境， Jedis。 <!-- Redis --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-redis</artifactId> </dependency> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> </dependency> 二、在 application.properties 添加自定义配置的 Redis 参数   第二步需要将一些 Redis 的配置信息配置到 application.properties 文件中 spring.redis.pool.max-idle=10 spring

1. idea使用spring 初始化工具初始化springboot项目(要选中web) 下一步，下一步 2. 在pom.xml中，引入Druid连接池依赖： <dependency> <groupId>com.github.drtrang</groupId> <artifactId>druid-spring-boot2-starter</artifactId> <version>1.1.10</version> </dependency> 3. 添加jdbc.properties jdbc.driverClassName=com.mysql.jdbc.Driver jdbc.url=jdbc:mysql://127.0.0.1:3306/leyou jdbc.username=root jdbc.password=123 4. 配置数据源 创建JdbcConfiguration类： import com.alibaba.druid.pool.DruidDataSource; import org.springframework.beans.factory.annotation.Value; import org.springframework.context.annotation.Bean; import org.springframework.context

介绍 　　RabbitMQ 即一个消息队列，主要是用来实现应用程序的异步和解耦，同时也能起到消息缓冲，消息分发的作用。 　　RabbitMQ是实现AMQP（高级消息队列协议）的消息中间件的一种，AMQP，即Advanced Message Queuing Protocol， 高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。 　　在项目中，将一些无需即时返回且耗时的操作提取出来，进行了异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间， 提高了系统的吞吐量。 　　本篇将详细介绍RabbitMQ以及如何在SpringBoot中使用。 简单概念 Broker - 简单来说就是消息队列服务器的实体。 Exchange - 消息路由器，转发消息到绑定的队列上，指定消息按什么规则，路由到哪个队列。 Queue - 消息队列，用来存储消息，每个消息都会被投入到一个或多个队列。 Binding - 绑定，它的作用就是把 Exchange 和 Queue 按照路由规则绑定起来。 RoutingKey - 路由关键字，Exchange 根据这个关键字进行消息投递。 Producter - 消息生产者，产生消息的程序。 Consumer - 消息消费者，接收消息的程序。 Channel - 消息通道，在客户端的每个连接里可建立多个Channel

1.导入Pom.xml依赖 1 <?xml version="1.0" encoding="UTF-8"?> 2 <project xmlns="http://maven.apache.org/POM/4.0.0" 3 xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" 4 xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 5 <modelVersion>4.0.0</modelVersion> 6 <groupId>com.yc</groupId> 7 <artifactId>SpringCacheDome</artifactId> 8 <version>1.0-SNAPSHOT</version> 9 <dependencyManagement> 10 <dependencies> 11 <!--spring-boot--> 12 <dependency> 13 <groupId>org.springframework.boot</groupId> 14 <artifactId>spring-boot-dependencies</artifactId> 15 <version

SSM整合——个人笔记 一、 介绍SSM SSM指的是Spring+SpringMVC+MyBatis集成的一个Web应用程序开源框架。Spring是一个控制反转（IOC）和面向切面（AOP）的容器管理框架。SpringMVC是Spring的后续产品，是一个开源的Web应用程序MVC框架，简单易使用。MyBatis由apache的一个开源项目iBatis而来，是一个基于Java的持久层框架。提供的持久层框架包括SQL Maps和Data Access Objects（DAO）MyBatis 消除了几乎所有的JDBC代码和参数手工设置以及结果集的检索。MyBatis 使用简单的 XML或注解用于配置和原始映射，将接口和 Java 的POJOs（PlainOld Java Objects，普通的 Java对象）映射成数据库中的记录。 二、SSM整合配置文件介绍 整合的配置文件分为四个，依次是：db.properties，保存数据库连接信息；spring.xml，加载配置文件，配置扫描；spring-mybatis.xml，用于配置数据源和SqlSessionFactory等MyBatis相关设置；spring-mvc.xml，配置Controller扫描和mvc视图解析器以及文件上传等。因为Controller属于MVC架构，所以这里我把Controller单独扫描。 三、导入jar包

10.Spring 对事务的整合 10.1对事务的复习 什么是事务 : 事务 (TRANSACTION) 是作为单个逻辑工作单元执行的一系列操作。 多个操作作为一个整体向系统提交，要么都执行，要么都不执行。 事务是一个不可分割的逻辑单元。 事务的特性 : 事务具备以下四个特性，简称ACID属性。 l 原子性 (Atomicity)： 事务是一个 完整的操作，事务的各步操作都是不可再分的，要么都执行， 要么都不执行。 l 一致性 (Consistency): 当事务完成时，数据必须处于 一致的状态。 l 隔离性 (Isolation): 并发事务之间相互独立、隔离，它不应以任何方式依赖于或影响其他事 务。 l 持久性 (Durability): 事务完成后，它对数据库的修改被永久保持。 10.2Spring中对事务的整合 在Spring中，所有操作事务的类都继承自 PlatformTransactionManager 事务的隔离级别 ISOLATION_READ_UNCOMMITTED:读未提交 ISOLATION_READ_COMMITTED:读已提交 ISOLATION_REPEATABLE_READ:可重复读 ISOLATION_SERIALIZABLE:串行化 脏读、不可重复读、幻读 脏读:A事务读取B事务尚未提交的更改数据，并在这个数据的基础上进行操作，这时候如果事务B回滚

1 目的 　　Spark Streaming整合Flume。参考官方整合文档（ http://spark.apache.org/docs/2.2.0/streaming-flume-integration.html ） 2 整合方式一：基于推 2.1 基本要求 flume和spark一个work节点要在同一台机器上，flume会在本机器上通过配置的端口推送数据 streaming应用必须先启动 ，receive必须要先监听推送数据的端口后，flume才能推送数据 添加如下依赖 groupId = org.apache.spark artifactId = spark-streaming-flume_2.11 version = 2.2.0 2.2 配置Flume 　　我们知道flume 的使用就是如何配置它的配置文件，使用本地的netcat source来模拟数据，本次配置如下： # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/configure the source a1.sources.r1.type = netcat a1.sources.r1.bind = hadoop a1.sources.r1.port = 5900 #