数据压缩

1.压缩概述 2.压缩策略和原则 3.MapReduce支持的压缩编码 64位系统下的单核i7,Snappy的压缩速率可以达到至少250MB/S,解压缩速率可以达到至少500MB/S 4.压缩方式选择 1) Gzip 2) Bzip2 3) Lzo 4) Snappy 4. 压缩位置选择 压缩可以在MapReduce作用的任意阶段启用 5. 压缩参数配置 参数 默认值 阶段 建议 io.compression.codecs （在core-site.xml中配置） org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.BZip2Codec 输入压缩 Hadoop使用文件扩展名判断是否支持某种编解码器 mapreduce.map.output.compress（在mapred-site.xml中配置） false mapper输出 这个参数设为true启用压缩 mapreduce.map.output.compress.codec（在mapred-site.xml中配置） org.apache.hadoop.io.compress.DefaultCodec mapper输出

要求：主成分分析：步骤、应用及代码实现 目的： 降维。 简介： 通俗易懂见详解：https://www.matongxue.com/madocs/1025.html 这里举一个例子帮助理解。 首先我们观察一下下面这个矩阵： 会发现，这个矩阵的第一列，第二列，第四列这三个列向量在空间中的指向是没有变的，仅仅只是缩放了相应的倍数而已，所以这个看起来是四维度矩阵其实是个二维矩阵。看到这你可能开始迷惑了，为啥是二维，这个矩阵不是有四个列向量吗？鲁迅曾经说过：不要被表象迷惑了双眼。好吧，不管这句话是不是鲁迅说的，但总之，仔细想想我们就会发现，第一、二、四个列向量它们都处在同一条直线上，用线性代数的语言来说，就是这三个列向量张成的空间是一条直线，那在加上第三个列向量所张成的直线，那这个矩阵不就只代表了一个二维平面嘛！所以说，这个四维的矩阵其实只是一个二维矩阵而已！ 到这里，我们就会顺理成章产生这样的想法：既然是一个二维的矩阵，干嘛不用二维的形式呢？所以自然地我们就会想到要找一个办法让这个矩阵降维，让它把冗余数据给去掉，只留下它的主成分。我们可以把上面的矩阵看成是一个四维空间中的二维平面，既然是二维平面，就应该在二维平面上重建一个坐标系，这样就可以把原来的列向量都表示出来，也就是说，这四个列向量在空间中没有变，只是我们换了一个参考系，表征它们的值也就变了，原来需要四个数（x，y，z，r

真正的面向列的数据库管理系统 在一个真正的列式数据库数据库中，没有额外的数据与值一起存储。 其中，这意味着必须支持常量长度值，以避免将它们的长度“数字”存储在值旁边。 例如，10亿个 uint8类型的值实际上应该消耗大约1gb 的未压缩空间，否则将严重影响 CPU 的使用。 即使在未压缩的情况下，紧凑地存储数据(没有任何“垃圾”)也非常重要，因为解压缩的速度(CPU 使用率)主要取决于未压缩数据的体积。 这是值得注意的，因为有些系统可以分别存储不同列的值，但是由于对其他场景的优化，它们不能有效地处理分析查询。 例如 HBase、 BigTable、 Cassandra 和 HyperTable。 在这些系统中，您将获得每秒大约10万行的吞吐量，而不是每秒数亿行的吞吐量。 同样值得注意的是 ClickHouse 是一个数据库管理系统，而不是一个单独的数据库。 Clickhouse 允许在运行时创建表和数据库、加载数据和运行查询，而无需重新配置和重新启动服务器。 数据压缩 一些面向列的dbms（InfiniDB CE和MonetDB）不使用数据压缩。然而，数据压缩在获得优异性能方面确实起着关键作用 数据的磁盘存储 通过按主键对数据进行物理排序，可以提取其特定值或值范围的数据，并且延迟时间短于几十毫秒。 某些面向列的DBMS（例如SAP HANA和Google PowerDrill

总结归纳计算机编程中的各种数据类型，其表示形式和计算方法。重点关注类型转换、数值溢出和移位等操作。 数据类型： 整型： (signed) int 4字节 范围：-2147483648~+2147483647 unsigned int 4字节 范围：0~+4294967295 (signed) short int 2字节 范围：-32768~+32767 unsigned short int 2字节 范围：0~+65535 (signed) long int 8字节 范围：-9223372036854775808~+9223372036854775807 unsigned long int 8字节 范围：0~+18446744073709551615 浮点型： float 4字节 范围：-3.4×10^(38) ~ 3.4×10^(38) double 8字节 范围：-1.7×10^(308) ~ 1.7×10^(308) long double 16字节 字符型： (signed) char 1字节 范围：-128~+127 Unsigned char 1字节 范围：0~+255 浮点型转换为整型：int a=1; float b=(float)a; 整型转换为浮点型：float a=1.5; int b=(int)a; 整型转换为字符型：int a=1; char b=(char

八种基本数据类型： 整数类型（byte,int,short,long） 浮点类型（float,double） 字符型（char） 布尔型(boolean) 1. 表示形式： - 整数类型： byte（8位）,int（32位）,short（16位）,long（32位） 表示形式： 以二进制补码形式表示的有符号整数 有效值范围：-2^(n-1)~2 ^(n-1)-1, n为位数 unsigned int, unsigned short, unsigned long 表示形式：以二进制补码形式表示的无符号整数 有效值范围：0~2^n-1, n为位数 - 浮点类型： float为单精度实型，占4字节，可放32位二进制数，可以是小数 表示形式：0.0f 范围：3.4E-38~3.4E+38 double为双精度实型，占8字节，可放64位二进制数，可以是小数 表示形式：0.0d 范围：1.7E–308～1.7E+308 - 字符型： char为字符型变量，例如’a’,'b’等，存储时是存储的ASCII码，ASCII码是8位，所以char只需一个字节 （ 例如：'a’为01100001） 表示形式：可以储存任何字符 范围：-128～127 - 布尔型： boolean（8位） 只有两个取值：true，false 2. 计算方法 - 类型转换： 八种数据类型中除了布尔型之外，其他均可相互转换

总结归纳计算机编程中的各种数据类型，其表示形式和计算方法。重点关注类型转换、数值溢出和移位等操作。 以java为例 基本数据类型： byte：8位，最大存储数据量是255，存放的数据范围是-128~127之间。 short：16位，最大数据存储量是65536，数据范围是-32768~32767之间。 int：32位，最大数据存储容量是2的32次方减1，数据范围是负的2的31次方到正的2的31次方减1。 long：64位，最大数据存储容量是2的64次方减1，数据范围为负的2的63次方到正的2的63次方减1。 float：32位，数据范围在3.4e-45~1.4e38，直接赋值时必须在数字后加上f或F。 double：64位，数据范围在4.9e-324~1.8e308，赋值时可以加d或D也可以不加。 boolean：只有true和false两个取值。 char：16位，存储Unicode码，用单引号赋值。 运算： 算术运算：+加 -减 *乘 /除 %取模 ++自增 --自减 关系运算：==相等 !=不相等 >大于 <小于 >=大于等于 <=小于等于 位运算：&按位与 |按位或 ~取反 逻辑运算：&&与 ||或 !非 类型转换： 1.自动类型转换： 所谓自动类型转换，是指系统支持把某种基础类型直接付给另一种基础类型的变量。 注意：自动类型转换的前提条件

hive数据压缩的优点和缺点 优点： 减少存储磁盘空间，降低单节点的磁盘IO。 减少网络传输带宽 。 缺点：需要花费额外的时间/CPU做压缩和解压缩计算。 常用压缩格式推荐使用：Snappy格式 开启map输出压缩 开启reduce输出压缩 来源： CSDN 作者： ponslee 链接： https://blog.csdn.net/u011110301/article/details/104216082

path = u"H:\\data）" outpath = u"H:\\output0" current_files = os.listdir(path) for file_name in current_files: print(file_name) dirname = path + "\\" + file_name + "\\DLG" if not os.path.exists(dirname): continue os.mkdir(outpath + "\\" + file_name) filelist = [] for root, dirlist, files in os.walk(dirname): for filename in files: filelist.append(os.path.join(root, filename)) #Start to zip file ... fullzipfilename = outpath + "\\"+ file_name + "\\DLG.zip" destZip = zipfile.ZipFile(fullzipfilename, "w") for eachfile in filelist: destfile = eachfile[len(dirname):] print("Zip file %s..." %

本文源码： GitHub·点这里 || GitEE·点这里 一、ClickHouse简介 1、基础简介 Yandex开源的数据分析的数据库，名字叫做ClickHouse，适合流式或批次入库的时序数据。ClickHouse不应该被用作通用数据库，而是作为超高性能的海量数据快速查询的分布式实时处理平台，在数据汇总查询方面(如GROUP BY)，ClickHouse的查询速度非常快。 下载仓库：https://repo.yandex.ru/clickhouse 中文文档：https://clickhouse.yandex/docs/zh/ 2、数据库特点 (1)列式数据库 列式数据库是以列相关存储架构进行数据存储的数据库，主要适合于批量数据处理和即时查询。 (2)数据压缩 在一些列式数据库管理系统中不是用数据压缩。但是, 数据压缩在实现优异的存储系统中确实起着关键的作用。 (3)数据的磁盘存储 许多的列式数据库只能在内存中工作，这种方式会造成比实际更多的设备预算。ClickHouse被设计用于工作在传统磁盘上的系统，它提供每GB更低的存储成本。 (4)多核心并行处理 大型查询可以以很自然的方式在ClickHouse中进行并行化处理，以此来使用当前服务器上可用的所有资源。 (5)多服务器分布式处理 在ClickHouse中，数据可以保存在不同的shard上

0.什么是点云 参考链接：https://cloud.tencent.com/developer/article/1522263 用激光雷达或者摄像机矩阵将一个三维物体直接数字化，变成一个点的数据。每一个点会包括它的位置x、y、z和其他信息包括r、g、b和色彩信息y、u、v等，这样的描述方式我们称之为点云。 点云数据结构包括： 位置信息（geometry ）：x,y,z 坐标 属性信息（attribute ）：该点的颜色（RGB）等 其中属性信息是可选的，就像二维图像可以没有rgb分量一样，如果没有属性信息，点云就是二值化的黑白体。 点云的描述方式有一些特性，点和点之间没有联系，没有顺序。因此可以根据这样的特性进行随意的排序，用来未来压缩技术的优化。（如果不压缩，点云数据会十分庞大，或者说至少是冗余的）。点云压缩分两种，一种是V-PCC，将所有三维物体投影到不同的平面上；另外一种是G-PCC，基于几何的点云压缩。 1.编码框图 图片来自ISO/IEC JTC 1/SC 29/WG 11 N18673 Coding of moving pictures and audio 绿色模块是通常用于1类数据的选项，橙色模块是通常用于3类数据的选项 2.模块简介 0）部分关键词 occupancy code（占用码）： An 8-bit code, named an occupancy