列式数据库

导语：随着大数据的发展，现在出现的列式存储和列式数据库。它与传统的行式数据库有很大区别的。 正文： 行式数据库 是按照行存储的，行式数据库擅长随机读操作不适合用于大数据。像SQL server,Oracle，mysql等传统的是属于行式数据库范畴。 列式数据库 从一开始就是面向大数据环境下数据仓库的数据分析而产生。 数据库以行、列的二维表的形式存储数据，但是却以一维字符串的方式存储，例如以下的一个表： EmpId Lastname Firstname Salary 1 Smith Joe 40000 2 Jones Mary 50000 3 Johnson Cathy 44000 这个简单的表包括员工代码(EmpId), 姓名字段(Lastname and Firstname)及工资(Salary). 这个表存储在电脑的内存(RAM)和存储(硬盘)中。虽然内存和硬盘在机制上不同，电脑的操作系统是以同样的方式存储的。数据库必须把这个二维表存储在一系列一维的“字节”中，由操作系统写到内存或硬盘中。 行式数据库把一行中的数据值串在一起存储起来，然后再存储下一行的数据，以此类推。 1,Smith,Joe,40000;2,Jones,Mary,50000;3,Johnson,Cathy,44000; 列式数据库把一列中的数据值串在一起存储起来，然后再存储下一列的数据，以此类推。 1,2,3

这里简单介绍数据库行式存储和列式存储的概念和它们之间的区别。 行式存储 传统的数据库是关系型的，按行来存储（二维表）数据，如下图： 其中，只有张三把一行数据填满了，李四王五赵六都没有填满。因为这里的行结构是固定的，每一行都一样，即使你不用，也必须要空到哪里，而不能没有。 列式存储 为了与传统数据库做区分，新型的数据库被叫做非关系型数据库，按列来存储数据，如下图： 原来张三的一列（单元格）数据对应现在张三的一行数据，原来张三的六列数据对应现在张三的六行数据。原来的六列数据是在一行，所以共用一个主键（即张三）。现在变成了六行数据，每行数据都需要一个主键（不然不知道这行数据是谁的），所以原来的主键（即张三的唯一标识）重复了六次。 由于原来的列变成了现在的行，有需要就加一行，没需要就不加，这样就不会造成空间的浪费。 行式存储和列式存储的区别 1.行式存储倾向于结构固定，列式存储倾向于结构弱化。 2.行式存储存储一行数据仅需要一个主键，列式存储存储一行数据需要多份主键。 3.列式存储存储的都是业务数据，而列式存储除了业务数据之外，还需要存储列名。 4.行式存储更像是一个Java Bean，所有的字段都提前定义好，且不能改变；列式存储更像是一个Map，不提前定义，随意往里面添加key/value。 "关于青春的故事，总是在晴朗的天气里，用最欢快的语气开头。就好像，讲故事的人

一、概述 传统的关系型数据库，如 Oracle、DB2、MySQL、SQL SERVER 等采用行式存储法(Row-based)，在基于行式存储的数据库中， 数据是按照行数据为基础逻辑存储单元进行存储的， 一行中的数据在存储介质中以连续存储形式存在。 列式存储(Column-based)是相对于行式存储来说的，新兴的 Hbase、HP Vertica、EMC Greenplum 等分布式数据库均采用列式存储。在基于列式存储的数据库中， 数据是按照列为基础逻辑存储单元进行存储的，一列中的数据在存储介质中以连续存储形式存在。 二、 行式存储 行式存储的适用场景包括： 1、适合随机的增删改查操作; 2、需要在行中选取所有属性的查询操作; 3、需要频繁插入或更新的操作，其操作与索引和行的大小更为相关。 实操中我们会发现，行式数据库在读取数据的时候会存在一个固有的“缺陷”，比如，所选择查询的目标即使只涉及少数几项属性，但由于这些目标数据埋藏在各行数据单元中，而行单元往往又特别大，应用程序必须读取每一条完整的行记录，从而使得读取效率大大降低。对此，行式数据库给出的优化方案是加“索引”。在OLTP类型的应用中，通过索引机制或给表分区等手段，可以简化查询操作步骤，并提升查询效率。 但针对海量数据背景的OLAP应用(例如分布式数据库、数据仓库等等)，行式存储的数据库就有些“力不从心”了