关系型数据库

数据库概念 文件作为数据库，数据格式千差万别 将保存数据的地方统一起来 MySQL一款应用软件 用来帮你操作文件的 只要是基于网络通信，底层都是socket！！！ 服务端 -socket通信 -收发消息 -解析命令(sql语句) 客户端 -socket通信 -收发消息 -解析命令(sql语句) DBA: sql语句优化 RDBMS:数据库管理系统 关系型数据库 存储数据的时候，对于数据有条件限制 数据与数据之间有关联 通常都是以表格的方式存储 第一步需要创建表结构！ 关系型数据库： oracle， sqlite， db2， sql server，MySQL,access 非关系型数据库 数据存储方式 k，v键值对的形式 redis，mongodb，memcache 关系型数据库和非关系型数据库的区别 非关系型数据库的优势： 1、性能 NOSQL是基于键值对的，可以想象成表中的主键和值的对应关系，而且不需要经过SQL层的解析，所以性能非常高 2、可扩展性 同样也是因为基于键值对，数据之间没有耦合性，所以非常容易水平扩展。 3、使用场景：日志、埋点、论坛、博客等 关系型数据库的优势： 1、 复杂查询 可以用SQL语句方便的在一个表以及多个表之间做非常复杂的数据查询 2、事务支持 使得对于安全性能很高的数据访问要求得以实现。 3、使用场景：所有有逻辑关系的数据存储 库文件夹操作 增

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 请注意： 1、由于是常用结构，所以也许早已经有类似的解决方法了。 2、本人数据库接触还少，以下表述可能有错误的地方，而且以下方法也没经过实际运行，仅供参考。 3、本文是为了回答提问版中的一个问题：http://www.oschina.net/question/268888_152060 树状结构是比较普遍使用的数据结构，比如公司部门组成。更典型的应该是传销成员的结构，每名会员发展下线，下线再发展下线。。。 由于关系型数据库的本质是表格结构，与树状结构相差较大，树状结构如何在关系型数据库中保存，且能快速查询、修改节点、统计一个节点有多少个子节点，与在内存中保存树状结构比起来比较纠结。 内存中可以用地址引用加递归来实现，CPU执行速度也很快，所以Z增删改查起来速度基本还可以接受。 但关系型数据库，SQL递归比较纠结，如果把程序写到数据库的存储过程中还好，如果通过网络连接进行SQL递归查询，速度估计难以接受。 我想到的方法是建两张表，第一张表中有id和level两个字段，分别表示节点的id，和该节点在树状结构的层级 第二张表中建level_1、level_2、level_3等字段，树状结构每多一层，则多加一列，每列保存相应层级的数据。 比如树状结构： a b c d e f g 则两个表的结构如下： 表1 id

关系型数据库 采用关系模型来组织数据结构的数据库(二维表) cle DB2 SQLServer Mysql SQLite都是关系型数据库 优点:容易理解,它的逻辑类似常见的表格 使用方便,都使用sql语句,sql语句非常的成熟 数据一致性高,冗余低,数据完整性好,便于操作 技术成熟,功能强大,支持很多复杂操作 缺点:*每次操作都要进行sql语句的解析,消耗较大 *不能很好的满足并发需求,特别是海量数据爆发,关系型 数据库读写能力会显得不足 *关系型数据库往往每一步都要进行加锁的操作,也造成了 数据库的负担 *数据一致性高,有时也会使数据的存储不灵活 非关系型数据库(NoSql--->not onl y sql) 优点:高并发,读写能力强 弱化数据结构一致性,使用更加灵活 有良好的可扩展性 缺点:通用性差,没有sql语句那样通用的语句 操作灵活导致容易出错和混乱 没有外键关联等复杂的操作 NoSql的使用情况 1.对数据的存储灵活性要求高,一致性要求低 2.数据处理海量并发,要求瞬间效率速度比较高 3.数据比较容易建立Nosql模型 4.网站临时缓冲存储,爬虫应用 NoSql的分类: 1.键值型数据库 (Redis) 2.文档型数据库 (MongoDB) 3.列存储数据库 (HBase) 4.图形数据库 mysql(关系型数据库) 和 mongodb(非关系型数据库)的概念对比

　　自1970年，埃德加·科德提出关系模型之后，关系数据库便开始出现，经过了40多年的演化，如今的关系型数据库具备了强大的存储、维护、查询数据的能力。但在关系数据库日益强大的时候，人们发现，在这个信息爆炸的“大数据”时代，关系型数据库遇到了性能方面的瓶颈，面对一个表中上亿条的数据，SQL语句在大数据的查询方面效率欠佳。我们应该知道，往往添加了越多的约束的技术，在一定程度上定会拖延其效率。 在1998年，Carlo Strozzi提出NOSQL的概念，指的是他开发的一个没有SQL功能，轻量级的，开源的关系型数据库。注意，这个定义跟我们现在对NoSQL的定义有很大的区别，它确确实实字如其名，指的就是“没有SQL”的数据库。但是NoSQL的发展慢慢偏离了初衷，CarloStrozzi也发觉，其实我们要的不是"nosql"，而应该是"norelational"，也就是我们现在常说的非关系型数据库了。 在关系型数据库中，导致性能欠佳的最主要因素是多表的 关联查询 ，以及复杂的数据分析类型的复杂SQL报表查询 。为了保证数据库的ACID特性，我们必须尽量按照其要求的范式进行设计，关系型数据库中的表都是存储一些格式化的数据结构，每个元组字段的组成都一样，即使不是每个元组都需要所有的字段，但数据库会为每个元组分配所有的字段，这样的结构可以便于表与表之间进行连接等操作

当前主流的关系型 数据库 有 Oracle 、DB2、Microsoft SQL Server、Microsoft Access、 MySQL 等。 非关系型数据库有 NoSql、Cloudant。 nosql和关系型数据库比较？ 优点： 1）成本：nosql数据库简单易部署，基本都是开源软件，不需要像使用oracle那样花费大量成本购买使用，相比关系型数据库价格便宜。 2）查询速度：nosql数据库将数据存储于缓存之中，关系型数据库将数据存储在硬盘中，自然查询速度远不及nosql数据库。 3）存储数据的格式：nosql的存储格式是key,value形式、文档形式、图片形式等等，所以可以存储基础类型以及对象或者是集合等各种格式，而数据库则只支持基础类型。 4）扩展性：关系型数据库有类似join这样的多表查询机制的限制导致扩展很艰难。 缺点： 1）维护的工具和资料有限，因为nosql是属于新的技术，不能和关系型数据库10几年的技术同日而语。 2）不提供对sql的支持，如果不支持sql这样的工业标准，将产生一定用户的学习和使用成本。 3）不提供关系型数据库对事物的处理。 非关系型数据库的优势：1. 性能NOSQL是基于键值对的，可以想象成表中的主键和值的对应关系，而且不需要经过SQL层的解析，所以性能非常高。2. 可扩展性同样也是因为基于键值对，数据之间没有耦合性，所以非常容易水平扩展

一、Redis简介 1．关于关系型数据库和nosql数据库 　　关系型数据库是基于关系表的数据库，最终会将数据持久化到磁盘上，而nosql数据 库是基于特殊的结构，并将数据存储到内存的数据库。从性能上而言，nosql数据库 要优于关系型数据库，从安全性上而言关系型数据库要优于nosql数据库，所以在实 际开发中一个项目中nosql和关系型数据库会一起使用，达到性能和安全性的双保证。 2．为什么要使用Redis 　　1、 redis简介 　　　　redis是Nosql 数据库 中使用较为广泛的非关系型内存数据库，redis内部是一个key-value存储系统。它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set –有序集合)和hash（哈希类型，类似于 Java 中的map）。Redis基于内存运行并支持持久化的NoSQL数据库，是当前最热门的NoSql数据库之一，也被人们称为 数据结构 服务器。 　　2、 互联网时代背景下大机遇，什么要使用Nosql？ 　　　　1） 当数据量的总大小一个机器放不下时。 　　　　2） 数据索引一个机器的内存放不下时。 　　　　3） 访问量（读写混合）一个实例放不下时。 单机时代模型 　　 如果每次存储成千上万条数据，这样很会导致 MySQL 的性能很差，存储以及读取速度很慢

作为Java语言的学习者，一定听说过Sun公司和甲骨文公司。今天就唠唠纯软件公司先驱——甲骨文公司。 远在20世纪70年代，计算机公司是不分软硬件的。在当时很难想象一个计算机公司不生产硬件，只靠软件的使用费产生利润。树立起这个商业模式的是两个公司，分别是个人计算机领域的微软公司和企业级市场的甲骨文公司。 甲骨文的创始人拉里·埃里森和史蒂夫·乔布斯的经历很像，或许正因为如此，他们都将对方看成彼此最好的朋友。对比很多年纪轻轻就创办大公司的传奇故事，埃里森是个例外。 离开大学的埃里森并没有立即创业，在一家不大的军用企业Ampex工作时，参与了为美国中央情报局开发数据库的项目，从此和数据库结下了不解之缘。当时这个数据库项目的名称叫Oracle，意思是预言家，后来Oracle公司取中文名时，为了贴近中国文化的渊源，采用了中国古代预言的记录文字——甲骨文。 之钻空子 甲骨文从起家到后来的初步成功，很大程度上是埃里森等人钻了IBM的三个空子。 一是上世纪60年代IBM给软件业松绑，IBM为了不被美国司法部以垄断为由起诉，主动开发一些应用软件市场。IBM原来的如意算盘是开发零碎的应用软件市场，自己依然控制着通用性好的系统软件市场。而埃里森恰恰要动IBM利润最丰富的数据库管理软件市场，这是IBM始料未及的。 二是IBM忽视了关系型数据库的革命性作用。与层次模型和网络模型相比

关系型数据库（Mysql和Oracle） 1.表和表、表和字段、数据和数据存在着关系 优点: 　　1.数据之间有关系，进行数据的增删改查的时候是非常方便的 　　2.关系型数据库是有事务操作的，保证数据的完整性和一致性。 缺点： 　　1.因为数据和数据是有关系的，底层是运行了大量的算法，大量算法会降低系统的效率，会降低性能 　　2.面对海量数据的增删改查的时候会显的无能为力 　　3.海量数据对数据进行维护变得非常的无力 常见应用: 　　适合处理一般量级的数据（银行转账和钱） 非关系数据库的（redis和MangDB） 为了处理海量数据，非关系数据库设计之初就是为了替代关系型数据库的关系 优点： 　　1.海量数据的增删改查是可以的 　　2.海量数据的维护和处理非常轻松 缺点： 　　1.数据和数据没有关系，他们之间就是单独存在的 　　2.非关系数据库没有关系，没有强大的事务关系，没有保证数据的完整性和安全性 关于Nosql 1.Nosql 非关系型数据库，Not only sql。 2.Nosql特点： （1）易扩展，数据之间没有关系的。 （2）大数据量，高性能。高性能读写非常灵活的。 （3）灵活的数据模型。不需要事先对存储数据建立字段。 （4）高可用。 3.Nosql主要主流产品 Redis（广泛应用），CouchDB，mongoDB，Cassandra等

Entity Framework Core in Action Entityframework Core in action是 Jon P smith 所著的关于Entityframework Core 书籍。 原版地址 . 是除了官方文档外另一个学习EF Core的不错途径, 书中由浅入深的讲解的EF Core的相关知识。因为没有中文版,所以本人对其进行翻译。 预计每两天一篇更新 PS: 翻译难免限于本人水平有不准确的地方，建议英文水平不错的同学直接查看原版，有不足的地方欢迎指正 第一部分目录导航 关于NoSql 在讨论关系型数据库时,我们不能不提到非关系型数据库,也就是NoSQL(参见 http://mng.bz/DW63 ). 关系型数据库和非关系型数据库在现代应用程序中都扮演着重要的角色,我在一个应用程序中同时使用了Sql Server(关系型数据库)和Azure表(非关系数据库)来处理不同的业务需求 EF Core被设计为处理关系型数据库和非关系型数据库,与EF 6.x不同,后面只围绕着关系型数据库而设计. 本书介绍的许多原则适用与这两种数据库,但是由于关系型数据库本质上比非关系型数据库复杂许多,因此使用关系型数据库需要更多的命令. 你会在一整章中看到专门介绍仅在关系型数据库中使用的命令. 例如第7章的内容就是关系数据库建模 EF Core 2.0包含Azure

一、Sqoop简介 （一）简介 Sqoop于2012年3月孵化出来，现在是一个顶级的Apache项目。 Apache Sqoop(TM)是一种旨在有效地在 Apache Hadoop 和诸如关系数据库等 结构化数据存储 之间 传输大量数据的工具 。【可以理解为一种数据搬运工具】 Sqoop(发音：skup)是一个 用来将 Hadoop 和关系型数据库中的数据相互转移的工具 ，主要用于在 Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递 ， 可以将一个关系型数据库 （例如 ： MySQL ,Oracle ,Postgres等） 中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中 。 （二）出现背景 Apache 框架Hadoop是一个越来越通用的分布式计算环境，主要用来处理大数据。随着云提供商利用这个框架，更多的用户将数据集在Hadoop和传统数据库之间转移，能够帮助数据传输的工具变得更加重要。Apache Sqoop就是这样一款工具，可以在Hadoop和关系型数据库之间转移大量数据。 （三）核心的功能 参考： https://www.cnblogs.com/qingyunzong/p/8807252.html 核心功能有两个：【导入、迁入】和【导出、迁出】。 导入数据 ：MySQL，Oracle