关系型数据库

一、数据库介绍 1.什么是数据库？ 简单的说，数据库就是一个存放数据的仓库，这个仓库是按照一定的数据结构（数据结构是指数据的组织形式或数据之间的联系）来组织，存储的，我们可以通过数据库提供的多种方法来管理数据库里的数据 更简单的理解形象，数据库和我们生活追踪存放杂物的储物间仓库性质一样，区别只是存放的东西不通，杂物间存放实体的物件，而数据库里存储的是数据，这样我们就对数据库有一个初步了解了。 数据库诞生于1950年，随着信息技术的发展和人类社会的不断进步，特别是2000年后，数据库不在仅仅是存储和管理数据了，而转变成用户所需要的各种数据管理的方式，数据库有很多种类和功能，从最简单的存储有各种数据的表格到能够进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。 二、数据库的种类 按照早起的数据库理论，比较流行的数据库模型有三种，分别为层次式数据库，网络式数据库和关系型数据库，而在当今的互联网中，最常见的数据库模型主要是两种，即关系型数据库和非关系型数据库 1.关系型数据库 （1）关系型数据库的由来 　　　　 虽然网状数据库和层次数据库已经很好的解决了数据的集中和共享问题，但是在数据独立性和抽象级别上仍有很大欠缺，用户在对这两种数据库进行存取时，仍然需要明确数据库的存储结构，支出存取路径，而关系型数据库就可以很好的解决这些问题 （2）关系型数据库介绍

文章目录 非关系型数据库Redis 一、Redis简介 1.Redis简介 2.Redis是内存高速缓存数据库 3.Redis的特性 4.Redis持久化 5.Redis架构模式： 二、Redis安装与配置 1.Redis的安装与部署（Linux） 2.windows下Redis的安装 3.Redis的内置数据类型 4.Redis的应用场景 5.Redis内置指令: http://doc.redisfans.com/ 三、Redis编程 1.python实现redis数据库的连接操作 2.Redis字符串常用操作 案例：生成给用户发送的验证码，验证码限制3s内生成一次，3s内第二次则无法获取 3.Redis列表常用操作 案例：Redis做消息队列的应用 案例：限制IP一分钟访问次数不能超过60次 非关系型数据库Redis 一、Redis简介 Redis参考资料： Github 源码:https://github.com/antirez/redis Redis 官网:https://redis.io/ 1.Redis简介 NoSQL(NoSQL = Not Only SQL ) ，意为“不仅仅是SQL”，泛指非关系型的数据库。 NoSQL数据库的产生就是为了 解决大规模数据集合多重数据种类 带来的挑战，尤其是大数据应用难题，包括超大规模数据的存储。 Redis(Remote

一、安装 1.下载地址 https://neo4j.com/download/ 根据系统进行选择 二、安装 下载完成后进行解压，并配置环境变量： 1.创建系统变量：NEO4J_HOME 变量值为Neo4j的安装路径，例如：F:\Neo4j\neo4j-community-3.5.14-windows\neo4j-community-3.5.14 2.在path里添加%NEO4J_HOME%\bin 三、启动和停止服务 以下命令需要控制台进入到Neo4j对应的安装目录中的bin目录下。在安装好之后服务是默认开启的 可以通过neo4j.bat console 来进行验证是否安装成功，若出现以下内容，则代表安装成功，并且已经启动服务： 2020-01-03 09:00:02.353+0000 INFO ======== Neo4j 3.5.14 ======== 2020-01-03 09:00:02.367+0000 INFO Starting... 2020-01-03 09:00:05.209+0000 INFO Bolt enabled on 127.0.0.1:7687. 2020-01-03 09:00:06.628+0000 INFO Started. 2020-01-03 09:00:07.474+0000 INFO Remote interface available

转载自： http://dq.shejis.com/dqlw/201610/article_142755.html 国网电力科学研究院 张子仲 　　1 目标与架构 　　1.1 需求 　　随着信息系统应用的不断深入，加快构建全球能源互联网和全面建成“一强三优”现代公司的目标以及大数据、云计算等新技术的日趋成熟，同时在企业级数据资源管理应用方面也暴露出了不足。数据是信息化的核心，建设全业务统一数据中心是源端全业务融合、后端大数据分析的必然选择，对建设信息化企业具有重要意义。 图1 　　1.2 目标与原则 　　到“十三五”末，基本建成“数据干净透明、模型规范统一、分析灵活智能”的全业务统一数据中心，实现面向全业务范围、全数据类型、全时间维度数据的统一存储、管理与服务。 图2 　　全业务统一数据中心主要包括数据处理中心、数据分析中心和数据管理中心三部分 图3 　　①数据处理中心 　　数据处理中心为公司各业务应用提供逻辑统一的数据访问支撑，是原有业务系统各个分散数据库的归并、发展与提升，主要包括业务处理数据库与统一数据访问服务两个部分。 图4 　　(1)实现跨专业数据统一访问，促进跨部门的信息共享与业务数据融合; 　　(2)改变业务集成方式，消除数据复制，促进跨部门业务协同; 　　(3)隔离应用与数据库的直接连接，为统一数据模型的应用与数据管控提供技术支撑。 　　②数据分析中心 　

Redis的简介 Redis简介 rdb aof Redis简介 1、Redis是一个基于key-value形式进行存储的内存型数据库 数据存储方式为key-value 数据存储在内存中 优点：效率高，理论值：每秒10k数据读取 定位：数据库软件 作用:存储数据 Redis是一个NoSql数据库 1、字面理解：不使用SQL命令操作数据库软件 2 、NoSQL : 英文全称 Not Only SQL , 表示在应用程序开发时，不是必须使用关系型数据库 可以使用NoSQL替代关系型数据库的 部分功能 3、目前NoSQL不能完全替代关系型数据库，使用关系型数据库结合NoSQL数据库完成项目 当数据比较复杂时不适应于NoSQL数据库 关系型数据库依然作为数据库存储的主要软件 4、NoSQL数据库当作缓存工具来使用 把某些使用频率高的内部不仅仅存储到关系型数据库中还存储到NoSQL数据中 考虑到：NoSQL和关系型数据库同步的问题 Redis持久化策略 rdb 默认的持久化策略 每隔一定时间后把内存中数据持久化到dump.rdb文件中 缺点： 数据过于集中 可能导致最后的数据没有持久化到dump.rdb中 解决方法：使用命令:SAVE或BGSAVE手动持久 aof 监听Redis的日志文件，如果发现执行了修改，删除，新增命令，立马根据这条命令把数据持久化 缺点： 1效率较低 优点

Redis介绍 一.NoSQL数据库 什么是redis? “ Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库。Redis是一个非常快速的开源非关系、Key-Value数据库，通常称为数据结构服务器；它存储了五种不同类型值的键映射。 ” (一)产生Redis 命令背景     随着Web2.0的时代的到来，用户访问量大幅度提升，同时产生了大量的用户数据。加上后来的智能移动设备的普及，所有的互联网平台都面临了巨大的性能挑战。包括web服务器CPU及内存压力，数据库服务器IO压力等。     关于如何解决Web服务器的负载压力，其中最常用的一种方式就是使用nginx实现web集群的服务转发以及服务拆分等等。但是这样也会存在问题，后端服务器的多个tomcat之间如何解决session共享的问题，以及session存放的问题等等。 为了解决session存放的问题，也有多种解决方案 方案一：存放在cookie里面。不安全，否定 方案二：存放在文件或者数据库当中。速度慢 方案三：session复制。大量session冗余，节点浪费大 方案四：使用NoSQL缓存数据库。例如redis或者memcache等，完美解决 (二)NoSQL数据库简介     NoSQL，泛指非关系型的数据库。随着互联网web2.0网站的兴起

Sqoop的概述与安装 简介 Sqoop是连接RDBMS关系型数据库与Hadoop的桥梁，可以将关系型数据库（MySQL、Oracle）中的数据与Hadoop中的（Hbase、Hive）数据相互转换。 可以高效、可控的利用资源，控制任务发生的并发数，配置数据库的访问时间等 可自动完成数据类型转化与映射 利用MapReduce加快数据的传输速度，使用批处理的方式 4.导入（import） 从传统的数据库中读取元数据信息（Schema、table、Field、field type）,把导入功能转化为只有Map 的MapReduce，每个Map获取一块数据，多个数据块并行传输 导出（export） 获取导出表的schema、metahdfs信息，和Hadoop中的字段match；多个map only作业同时进行，完成hdfs中数据导出到关系型数据库 安装 官网下载两个包，地址：http://mirror.bit.edu.cn/apache/sqoop/ 传输到Linux的目录下 配置环境变量 vi /etc/profile export SQOOP_HOME=/home/hadoop/sqoop-1.4.7 export PATH=/home/yoodb/mysql/bin: S Q O O P H O M E / b i n : SQOOP_HOME/bin: S Q O O P H

简答题 1.MySQL常见的三种存储引擎（InnoDB、MyISAM、MEMORY）的区别(至少5点)？ l InnoDB存储引擎 InnoDB是事务型数据库的首选引擎，支持事务安全表（ACID），其它存储引擎都是非事务安全表，支持行锁定和外键，MySQL5.5以后默认使用InnoDB存储引擎。 InnoDB主要特性 为MySQL提供了具有提交、回滚和崩溃恢复能力的事务安全（ACID兼容）存储引擎。InnoDB锁定在行级并且也在 SELECT语句中提供一个类似Oracle的非锁定读。这些功能增加了多用户部署和性能。在SQL查询中，可以自由地将InnoDB类型的表和其他MySQL的表类型混合起来，甚至在同一个查询中也可以混合。 。 l MyISAM存储引擎 MyISAM基于ISAM存储引擎，并对其进行扩展。它是在Web、数据仓储和其他应用环境下最常使用的存储引擎之一。MyISAM拥有较高的插入、查询速度，但不支持事务，不支持外键。 MyISAM主要特性： 被大文件系统和操作系统支持。 当把删除和更新及插入操作混合使用的时候，动态尺寸的行产生更少碎片。这要通过合并相邻被删除的块，若下一个块被删除，就扩展到下一块自动完成。 每个MyISAM表最大索引数是64，这可以通过重新编译来改变。每个索引最大的列数是16。 最大的键长度是1000字节，这也可以通过编译来改变

摘要: 常见关系型数据库是二维网状结构，非关系型的有key-value形式。非关系型数据库适合SNS类型高并发大数据的应用。 1. 关系型数据库 关系型数据库，是指采用了关系模型来组织数据的数据库。 关系模型是在1970年由IBM的研究员E.F.Codd博士首先提出的，在之后的几十年中，关系模型的概念得到了充分的发展并逐渐成为主流数据库结构的主流模型。 简单来说，关系模型指的就是二维表格模型，而一个关系型数据库就是由二维表及其之间的联系所组成的一个数据组织。 关系模型中常用的概念： 关系：可以理解为一张二维表，每个关系都具有一个关系名，就是通常说的表名 元组：可以理解为二维表中的一行，在数据库中经常被称为记录 属性：可以理解为二维表中的一列，在数据库中经常被称为字段 域：属性的取值范围，也就是数据库中某一列的取值限制 关键字：一组可以唯一标识元组的属性，数据库中常称为主键，由一个或多个列组成 关系模式：指对关系的描述。其格式为：关系名(属性1，属性2， ... ... ，属性N)，在数据库中成为表结构 关系型数据库的优点： 容易理解：二维表结构是非常贴近逻辑世界的一个概念，关系模型相对网状、层次等其他模型来说更容易理解 使用方便：通用的SQL语言使得操作关系型数据库非常方便 易于维护：丰富的完整性(实体完整性、参照完整性和用户定义的完整性)大大减低了数据冗余和数据不一致的概率 2.

链接：https://www.zhihu.com/question/24696366/answer/29189700 来源：知乎 首先要明白”范式（NF）”是什么意思。按照教材中的定义，范式是“符合某一种级别的关系模式的集合，表示一个关系内部各属性之间的联系的合理化程度”。很晦涩吧？实际上你可以把它粗略地理解为 一张数据表的表结构所符合的某种设计标准的级别 。就像家里装修买建材，最环保的是E0级，其次是E1级，还有E2级等等。数据库范式也分为1NF，2NF，3NF，BCNF，4NF，5NF。一般在我们设计关系型数据库的时候，最多考虑到BCNF就够。符合高一级范式的设计，必定符合低一级范式，例如符合2NF的关系模式，必定符合1NF。 接下来就对每一级范式进行一下解释，首先是 第一范式（1NF）。 符合1NF的关系（你可以理解为数据表。“关系模式”和“关系”的区别，类似于面向对象程序设计中”类“与”对象“的区别。”关系“是”关系模式“的一个实例，你可以把”关系”理解为一张带数据的表，而“关系模式”是这张数据表的表结构。 1NF的定义为：符合1NF的关系中的每个属性都不可再分。表1 所示的情况，就不符合1NF的要求。 表1 实际上， 1NF是所有关系型数据库的最基本要求 ，你在关系型数据库管理系统（RDBMS），例如SQL Server，Oracle，MySQL中创建数据表的时候