数据存储

数据收集大数据处理的第一步是数据的收集。现在的中大型项目通常采用微服务架构进行分布式部署，所以数据的采集需要在多台服务器上进行，且采集过程不能影响正常业务的开展。基于这种需求，就衍生了多种日志收集工具，如 Flume 、Logstash等，它们都能通过简单的配置完成复杂的数据收集和数据聚合。数据存储收集到数据后，下一个问题就是：数据该如何进行存储？我们通常熟知的就是把数据存入MySQL、Oracle等传统的关系型数据库，这些传统的数据库的特点是能够快速存储结构化的数据，并支持随机访问。但大数据的数据结构通常是半结构化（如日志数据）、甚至是非结构化的（如视频、音频数据），为了解决海量半结构化和非结构化数据的存储，衍生了 Hadoop HDFS 、KFS、GFS 等分布式文件系统，它们都能够支持结构化、半结构和非结构化数据的存储，并可以通过增加机器进行横向扩展。分布式文件系统完美地解决了海量数据存储的问题，但是一个优秀的数据存储系统需要同时考虑数据存储和访问两方面的问题，比如你希望能够对数据进行随机访问，这是传统的关系型数据库所擅长的，但却不是分布式文件系统所擅长的，那么有没有一种存储方案能够同时兼具分布式文件系统和关系型数据库的优点，基于这种需求，就产生了 HBase、MongoDB。数据分析大数据处理最重要的环节就是数据分析，数据分析通常分为两种：批处理和流处理。批处理

从CPU处理速度越来越快，到内存的蓬勃发展，如今随着技术的进步，SSD的普及度也大大提升，在疫情期间，不少人也打算给自己的电脑升级一块高速大容量的SSD。之前的文章中，我们聊到了eMMC的工作原理，今天宏旺半导体就跟大家来聊一聊SSD固态硬盘的结构和基本工作原理 SSD 主要由 SSD 控制器，FLASH 存储阵列，板上DRAM，以及跟HOST接口（诸如SATA，SAS, PCIe等）组成。而其中最重要的三个组件就是NAND闪存，控制器及固件。NAND闪存负责重要的存储任务，控制器和固件需要协作来完成复杂且同样重要的任务，即管理数据存储、维护SSD性能和使用寿命等。 SSD 的基本工作原理是从主机PC端开始，用户从操作系统应用层面对SSD发出请求，文件系统将读写请求经驱动转化为相应的符合协议的读写和其他命令，SSD收到命令执行相应操作，然后输出结果，每个命令的输入和输出经协议标准组织标准化，这是标准的东西，和HDD无异，只不过HDD替换成SSD硬件存储数据，访问的对象变成SSD。 宏旺半导体之前说过，由于闪存不能覆盖写，闪存块需擦除才能写入。主机发来的某个数据块，它不是写在闪存固定位置，SSD可以为其分配任何可能的闪存空间写入。因此，SSD内部需要FTL这样一个东西，完成逻辑数据块到闪存物理空间的转换或者映射。 举个例子，假设SSD容量为128GB，逻辑数据块大小为4KB

1.布局<?xml version="1.0" encoding="utf-8"?> <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" android:layout_width="fill_parent" android:layout_height="fill_parent" android:orientation="vertical" > <LinearLayout android:layout_width="match_parent" android:layout_height="wrap_content" > <TextView android:id="@+id/textView1" android:layout_width="wrap_content" android:layout_height="wrap_content" android:text="姓名：" /> <EditText android:id="@+id/edit_name" android:layout_width="wrap_content" android:layout_height="wrap_content" android:layout_weight="1" android:ems="10" >

【reference】http://www.infoq.com/cn/articles/data-storage-in-ios 谈到数据储存，首先要明确区分两个概念，数据结构和储存方式。所谓数据结构就是数据存在的形式。除了基本的NSDictionary、NSArray和NSSet这些对象，还有更复杂的如：关系模型、对象图和属性列表多种结构。而存储方式则简单的分为两种：内存与闪存。内存存储是临时的，运行时有效的，但效率高，而闪存则是一种持久化存储，但产生I/O消耗，效率相对低。把内存数据转移到闪存中进行持久化的操作称成为归档。 二者结合起来才是完整的数据存储方案，我们最常谈起的那些：SQLite、CoreData、NSUserDefaults等都是数据存储方案。当然在这些框架提供的方案之外，我们自己也可以按照个性化需求订制方案。这些存储方案侧重不同，支持的形式和方式也各不相同，在不同的使用场景下表现也是各有优劣。但万变不离其宗，无论什么方案都可以用下图来解释。 图1，存储方案示意图 以下将对四种存储方式进行详细的介绍： NSUserDefaults，用于存储配置信息 SQLite，用于存储查询需求较多的数据 CoreData，用于规划应用中的对象 使用基本对象类型定制的个性化缓存方案 用NSUserDefaults存储配置信息

我们先看下$.fn.data()的使用，这个和$.data()是不一样的，前者是和某个jquery对象相关，后者则是全局方法。主要有data()和removeData()这2个实例方法。通过下面的例子和执行结果可以看到：$.fn.data()和$.fn.removeData()跟$.data的使用方式没有什么差别。 // 支持任何数据类型 2. $( "body" ).data( "name", "xx" ); 3. $( "body" ).data( "sex", "male" ); 4. $( "body" ).data( "foo", 100 ); 5. $( "body" ).data( "object", {myType: "test", count: 40 } ); 6. $( "body" ).data("array", [ 1, 2, 3 ]); 7. // data()获取单个属性console.log($( "body" ).data( "foo" )); 8. // 获取所有属性console.log($( "body" ).data()); 9. // 删除属性$( "body" ).removeData("foo");console.log($( "body" ).data()); 10. // 批量修改属性$( "body" ).data({"new"

花了一个多月的时间在ArcGIS上了，感觉有个总的把握，但是对ArcGIS文件的存储有点不太明白，认识太肤浅了，下面是我在网上看到的一些东西（我认为可以接受的！！） ArcGIS文件分为shapefile,Coverage,Geodatabase这三种。 举个例子，大家使用那么长时间的Txt和Doc文件格式，也没有去考究他们有什么区别和联系，对于学习ArcGIS中出现的这么多数据格式也不需要过多的考虑，只要对他们的一些基本应用有所了解就可以了： Shapefile:一种基于文件方式存储GIS数据的文件格式。至少由.shp,.dbf,.shx三个文件作成，分别存储空间，属性和前两者的关系。是GIS中比较通用的一种数据格式。 Coverage:一种拓扑数据结构，一般的GIS原理书中都有它的原理论述。数据结构复杂，属性缺省存储在Info表中。目前ArcGIS中仍然有一些分析操作只能基于这种数据格式进行操作。 Geodatabase:ArcInfo发展到ArcGIS时候推出的一种数据格式，一种基于RDBMS存储的数据格式，其有两大类：1.Personal Geodatabse 用来存储小数据量数据，存储在Access的mdb格式中。2.ArcSDE Geodatabse 存储大型数据，存储在大型数据库中Oracle,Sql Server,DB2等。可以实现并发操作，不过需要单独的用户许可。

一、mysqlcheck 进行表的检查和修复 1、检查mysqlisam存储引擎表的状态 #mysqlcheck -uuser -ppassword database table -c #检查单个表是否损坏 #mysqlcheck -uuser -ppassword database -c #检查整个库那些表损坏 2、首先检查数据库的那些表损坏，如果能定位到那张表损坏可以直接对表修复 #mysqlcheck -uuser -ppassword database table -r # 修复数据表 #mysqlcheck -uuser -ppassword database -r # 修复整个数据库 二、myisamchk 修复mysql表 Myisamchk是MyISAM表维护的一个非常实用的工具。可以使用myisamchk实用程序来获得有关数据库表的信息或检查、修复、优化他们。myisamchk适用MyISAM表(对应.MYI和.MYD文件的表)。 Myisamchk 选项解释 –debug=debug_options, -# debug_options 输出调试记录文件。debug_options字符串经常是’d:t:o,filename’。 –silent，-s 沉默模式。仅当发生错误时写输出。 –wait, -w 如果表被锁定，不是提示错误终止，而是在继续前等待到表被解锁。

基本概念 RegionServer HBase的RegionServer就是用来处理客户端读取和写入数据的，和kafka的broker，Elasticsearch的Node的功能相同。 Region Region和kafka的partition(分区)，Elasticsearch的shard(分片)差不多，是个物理概念。 一个表可以有多个Region，一个Region只属于一张表。 组件 逻辑存储 物理存储 Kafka topic partition Elasticsearch index shard HBase table region store store在HBase中对应的是列簇(Column Family,CF) 列簇在内存中的store是memstore，在磁盘中的是storefile，当内存中的memstore数据达到一定的阈值之后， 就会通过flashcache在磁盘上创建一个新的storefile，并且将memstore中的数据写入这个新创建的storefile。 当storefile文件的数量增长到一定阈值后会进行合并，在合并过程中会进行版本删除工作，从而形成更大的storefile。 当一个region所有storefile的大小和超过一定阈值后，会把当前的region分割为两个，并由master分配到相应的RegionServer服务器，实现负载均衡。

寄存器register 最快的存储区, 由编译器根据需求进行分配,我们在程序中无法控制 最快的存储区（由编译器根据需求分配，无法从程序中控制） 位于处理器内部 数量有限 常量存储constant storage 存放字符串常量和基本类型常量（public static final） 常量值通常直接存放在程序代码内部 有时在嵌入式系统中，常量本身会和其他部分分割离开，所以在这种情况下，可以选择将其放在ROM中 （ROM，Read Only Memory，只读内存。一种只能读出事先所存数据的固态半导体存储器，它相当于PC机上的硬盘，用来存储和保存数据。RAM和ROM相比，两者的最大区别是RAM在断电以后保存在上面的数据会自动消失，而ROM就不会。） 静态存储区static storage 存放静态成员（static定义的）包括静态成员变量和静态成员方法（类方法） 静态是指“在固定的位置” 静态存储里存放程序运行时一直存在的数据 可用关键字static来标识一个对象的特定元素是静态的 但JAVA对象本身从来不会存放在静态存储空间里 重点注意： 静态方法中可以直接调用同类中的静态成员，但不能直接调用非静态成员。 如果希望在静态方法中调用非静态变量，可以通过创建类的对象，然后通过对象来访问非静态变量。 在普通成员方法中，则可以直接访问同类的非静态变量和静态变量。

本文由个人原创出品，51cto博客首发，转载请注明出处。 本文档介绍Ceph存储手动部署过程，此处介绍Ceph无认证方式部署，适用于内部环境部署和使用Ceph。 一.部署环境介绍 1.硬件环境： ceph01: 10.10.10.11 ceph02: 10.10.10.12 ceph03: 10.10.10.13 2.软件环境 操作系统： CentOS7.6 Ceph存储：jewel （10.2.10） 二.基础环境准备 1.安装CentOS7.6操作系统 2.配置操作系统名称、网络、hosts文件、关闭Selinux、关闭防火墙 三.安装Ceph 1.安装Ceph源 # yum install centos-release-ceph-jewel 2.安装Ceph # yum install ceph 四.初始化Ceph第一个MON节点 1.生成ceph集群fsid # uuidgen 2.编辑ceph配置文件，文件位置和内容如下： # vim /etc/ceph/ceph.conf [global] auth cluster required = none auth service required = none auth client required = none fsid = a2efc66d-fd3f-464f-8098-c43d63b6f989 log file =