关系型数据库

本文摘自千锋教育编著的 《MySQL数据库从入门到精通》 ，文中项目多，案例分析简洁，并有对应视频学习，让自学变得简单，实战就业。 1.1数据库入门 1.1.1什么是数据库 数据库（Database，DB）是建立在计算机存储设备上，按照数据结构来组织、存储和管理数据的仓库，可将其视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据进行增加、删除、修改、查找等操作，这里所说的数据不仅包含数字，还包含文字、视频、声音等，数据库的主要特点如下所示。 实现数据共享：数据共享包含所有用户可同时存取数据库中的数据，也包括用户可以用各种方式通过接口使用数据库，并提供数据共享。 减少数据的冗余度：同文件系统相比，由于数据库实现了数据共享，从而避免了用户各自建立应用文件。减少了大量重复数据和数据冗余，维护了数据的一致性。 数据的独立性：数据的独立性包括逻辑独立性（数据库中数据库的逻辑结构和应用程序相互独立）和物理独立性（数据物理结构的变化不影响数据的逻辑结构）。 数据实现集中控制：文件管理方式中，数据处于一种分散的状态，不同的用户或同一用户在不同处理中，其文件之间毫无关系。利用数据库可对数据进行集中控制和管理，并通过数据模型表示各种数据的组织以及数据间的联系。 数据一致性和可维护性：主要包括安全性控制（以防止数据丢失、错误更新和越权使用）、完整性控制（保证数据的正确性、有效性和相容性

作者：kimmking 链接：https://www.zhihu.com/question/352256403/answer/878523206 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 题主，恭喜你，你深入思考了一系列重要问题，作为一个开源技术人员+数据中间件的爱好者，试着回答一下题主的几个问题： 什么时候需要数据中间件，中间件能干什么 数据中间件的实现原理，有哪些开源数据中间件 为什么都是国内开源的，并且大都停止了更新 推荐使用什么数据中间件，有什么优势 一、什么时候需要数据中间件，中间件能干什么 就像题主说的那样，随着业务的发展，MySQL、Oracle数据库里的表越来越大，一两年以后，2千万、甚至上亿记录的表就会出现了（一般可以简单认为表比较复杂的时候，MySQL几百万上千万的时候，Oracle几千万的时候，就会出现复杂查询或变更有性能问题），这时候可能会导致复杂的查询慢，插入和修改数据慢，修改表的DDL执行太慢导致无法修改列类型或者加索引或者加字段等等。怎么办呢？这时候我们可以由几个处理办法： 历史表：按时间拆分历史表出去，降低数据量，这个以前比较常见，其实也是一种特殊的水平拆分，对业务有侵入性 垂直拆分：按列，将上百列的宽表拆分成多个列少（也就是每条记录数据量小）的表，不降低记录数，但是降低整个表的数据量和索引量大小 水平拆分

1.1 数据库的介绍 数据库为存放数据的仓库。存放数据的数据库比较特殊，这个仓库是按照一定的数据结构来组织，存储的，可以通过数据库提供的很多种方式来管理数据库的数据。 1.2 数据库的分类 数据库分三类，分贝为层次式数据库，网络式数据库和关系型数据库，而在今天，最常用的数据库模型主要有两种，关系型数据库和非关系型数据库。 1.2.1关系型数据库的介绍 关系型数据库模型是把复杂的数据结构结合为简单的二元关系，在数据库种，对数据的操作几乎全部建立在一个或多个关系表格上，通过对这些关系大的表格分类，合并。连接或者选取等运算实现数据的管理。 大家最常见的数据库为mysql和Oracle数据库。 1.2.2非关系型数据库的介绍 非关系型数据库被称为NoSQL数据库，随着网络的兴起，传统的关系型数据库对于规模日益扩大的海量数据，超大规模和高并发的微博微信等，暴露了很多难以克服的问题，尤其是现在出现了特定场景/以高性能和使用便利为目的的功能特异化的数据产品。非关系型的数据库就是这样的情景中诞生并迅速发展。 1.3数据库的安装方式 1.3.1 yum的方式安装数据库 Yum方式安装Mysql安装简单，只需要执行yum install mysql-server即可。 这种安装使用于对数据库要求不高的场合，例如开发不大，公司内部，企业内部的一些应用场景。 1.3.2常规方式编译安装MySQL

数据库 一，数据库简介 1.数据库的起源： 随着互联网时代的到来，需要持久化数据呈现井喷式发展，常规的 io操作虽然 可以满足持久化的需求，但是，对于持久化的目的，对数据的操纵，显然力不从心， 且操作的复杂度很大，不利于大规模的发展，审时度势，数据库应运而生。 2.数据库的定义：数据库(Database)是按照数据结构来组织、存储和管理数据的仓库；随着信息 技术和市场的发展，数据管理不再仅仅是存储和管理数据，而转变成用户所需要的各 种数据管理的方式。数据库有很多种类型，从最简单的存储有各种数据的表格到能够 进行海量数据存储的大型数据库系统都在各个方面得到了广泛的应用。 数据库现在已经成为数据管理的重要技术，也是计算机的重要分支。由于数据 库具有数据结构化，最低冗余度、较高的程序与数据独立性，易于扩展、易于编制应 用程序等优点，较大的信息系统都是建立在数据库设计之上的。数据库的运用从一般 管理扩大到计算机辅助技术、人工智能以及科技计算等领域。 随着数据库技术的发展，计算机技术也随着得到了很大的发展，数据库为我们 提供了可以快速存储以及检索的便利，它也为近几年软件可以如此普及贡献不小的力 量 3.常用的数据库有：MySQL，Oracle，DB2 4. 数据库管理系统(Database Management System)是一种操纵和管理数据库的大 型软件，用于建立、使用和维护数据库

redis 类型，数据存在磁盘里面，所以存储速度比较快，其他数据类型还是存储在数据库所以比较慢些 链接redis数据库： r=redis.Redis(host="%%%%%%%",password="HK139bc&*",db=10,decode_responses=True) #port=6379 默认可以不写 db不写时，默认为0 decode_responses=True:如果是二进制的时候不需要在decode 一、字符串类型 1、写入到redis中 r.set("key","value") 2、获取redis中的数据 r.get("key") 3、删除数据 r.delete("key") 4、增加失效时间 r.set("key","yj",10) # ("key","yj") key,values 模式 #添加数据语句 10表示过期时间， 如果是-1，表示永久不过期(但重启后会过期) 如果对已增加的key，增加失效时间 r.expire("key",10) 二、哈希类型 1、写入到redis中 r.hset("name","wyj",'{"cat":"1","small":"2"}') #大key + key +value 2、获取redis中的数据 r.hget("大key"，”key“) 3、删除数据 r.hdel("大key"，”key“) 三、通用 r.keys()

关系型数据库同步 1）、全量同步 比如从oracle数据库中同步一张表的数据到Mysql中，通常的做法就是分页查询源端的表，然后通过数据库引擎批量（比如JDBC）插入到目标表，这个地方需要注意的是，分页查询时，一定要按照主键id来排序分页，避免重复插入。 2）、基于数据文件导出和导入的全量同步，这种同步方式一般只适用于同种数据库之间的同步，如果是不同的数据库，这种方式可能会存在问题。 3）、基于触发器的增量同步 增量同步一般是做实时的同步，早期很多数据同步都是基于关系型数据库的触发器trigger来做的。 使用触发器实时同步数据的步骤： A、 基于原表创触发器，触发器包含insert，modify，delete 三种类型的操作，数据库的触发器分Before和After两种情况，一种是在insert，modify，delete 三种类型的操作发生之前触发（比如记录日志操作，一般是Before），一种是在insert，modify，delete 三种类型的操作之后触发。 B、 创建增量表，增量表中的字段和原表中的字段完全一样，但是需要多一个操作类型字段（分表代表insert，modify，delete 三种类型的操作），并且需要一个唯一自增ID，代表数据原表中数据操作的顺序，这个自增id非常重要，不然数据同步就会错乱。 C、 原表中出现insert，modify，delete

关系型数据库（Mysql和Oracle） 1.表和表、表和字段、数据和数据存在着关系 优点: 　　1.数据之间有关系，进行数据的增删改查的时候是非常方便的 　　2.关系型数据库是有事务操作的，保证数据的完整性和一致性。 缺点： 　　1.因为数据和数据是有关系的，底层是运行了大量的算法，大量算法会降低系统的效率，会降低性能 　　2.面对海量数据的增删改查的时候会显的无能为力 　　3.海量数据对数据进行维护变得非常的无力 常见应用: 　　适合处理一般量级的数据（银行转账和钱） 非关系数据库的（redis和MangDB） 为了处理海量数据，非关系数据库设计之初就是为了替代关系型数据库的关系 优点： 　　1.海量数据的增删改查是可以的 　　2.海量数据的维护和处理非常轻松 缺点： 　　1.数据和数据没有关系，他们之间就是单独存在的 　　2.非关系数据库没有关系，没有强大的事务关系，没有保证数据的完整性和安全性 关于Nosql 1.Nosql 非关系型数据库，Not only sql。 2.Nosql特点： （1）易扩展，数据之间没有关系的。 （2）大数据量，高性能。高性能读写非常灵活的。 （3）灵活的数据模型。不需要事先对存储数据建立字段。 （4）高可用。 3.Nosql主要主流产品 Redis（广泛应用），CouchDB，mongoDB，Cassandra等

1、什么是数据库 　　 通俗来讲，数据库就是用于存储数据的仓库。很多人可能会问，存储数据用文件不就行了吗？为什么还要弄数据库？ 　　文件存储数据具有以下几个缺点： 文件的安全性问题 文件不利于查询和数据库管理 文件不利于存放海量数据 文件在程序中控制不方便 　　为了解决上面这些问题，专家们设计了更加有利于我们管理数据的工具——数据库。数据库的使用方便了我们对数据的操作、管理和控制，数据库的操作水平也是衡量一个程序员能力的重要指标。 2、MySQL数据库 　　 MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle旗下产品。 　　MySQL是最流行的RDBMS（关系型数据库管理系统）之一，关系型数据库将数据保存在不同的表中，而不是把所有数据放在一个大仓库内，这样就提高了数据库的速度和灵活性。 　　MySQL所使用的sql语言是用于访问数据库的最常用的标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低，为多种编程语言提供了API，尤其是开放源码这一特点，一般的中小型网站的开发都使用MySQL作为网站数据库。 3、关系型数据库和非关系型数据库的比较 （1）关系型数据库 　　关系型数据库最典型的数据结构是表，由二维表及其之间的联系所组成的一个数据组织。 优点： 易于维护：使用的都是表结构，格式一致；

关系型数据库与非关系型数据库及其特性： RDBMS(Relational Database Management System 关系型数据库) ：mysql/oracle/sqlServer等 ========》ACID特性 NOSQL(Not Only SQL 非关系型数据库)：redis/mongdb等 ========》 CAP特性 ACID：A(Atomicity)原子性、C(Consistency)一致性、I(Isolation)独立性、D(Durability)持久性 CAP：C(Consistency)强一致性、A(Availability)可用性、P(Partition tolerance)分区容错性 CAP三进二原则： 在任何一个分布式系统中都无法同时满足CAP，只能三个里面选择两个 CAP介绍及其对应产品： NoSQL CA：单点集群，满足一致性，可用性的系统，通常在扩展性上不太强大（产品：RDBMS） CP：满足一致性，分区容忍性的系统，通常性能不是特别高（产品：MongoDB/HBase/Redis） AP：满足可用性，分区容忍性的系统，通常可能对一致性要求更低一些（产品：CouchDB/Cassandra/DvnamoDB） CAP理论就是说在分布式系统中，最多只能实现上面两点；而由于当前的网络硬件肯定会出现延迟丢包问题，所以 分区容忍必须要实现

在现在的互联网大潮中，NoSQL可谓是家喻户晓，Redis作为NoSQL中及其重要的一员，使我们走向架构道路的一条必经之路。作为运维工程师来说，是必须要掌握的！ 既然提到了Redis数据库是非关系型数据，并且需要掌握Redis数据库。那么关于关系型数据库与非关系型数据库的基本概念是必须要了解的。 一、关系型数据库与非关系型数据库的基本概念： 数据库按照其结构可以分为关系型数据库与其他数据库，而这些其他数据库，我们统称为非关系型数据库。 1.关系型数据库 关系型数据库是一个结构化的数据库，创建在关系模型基础上，一般面向记录。它借助于集合代数等数学概念和方法来处理数据库中的数据。关系模型指二维表格模型，因而一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织，现实世界中，各种实体与实体之间的各种联系都可以用关系模型来表示。SQL（结构化查询语言）语句就是一种基于关系型数据库的语言，用于执行对关系型数据库中数据的检索和操作。 主流的关系型数据库包括Oracle、MySQL、SQL Server、Microsoft Access、DB2等。 2.非关系型数据库 NoSQL： 意思是“不仅仅是SQL”，是非关系型数据库的总称。主流的NoSQL数据库有Redis、MongDB、Hbase、CouhDB等。这些数据库，他们的存储方式，存储结构以及使用场景都是完全不同的