数据压缩

一、Hadoop数据压缩及其优缺点 1、压缩技术的好处与坏处 好处： 减少存储磁盘空间 降低IO（网络的IO和磁盘的IO） 加快数据在磁盘和网络中的传输速度，从而提高系统的处理速度。 坏处： 由于使用数据时，需要先将数据解压，加重了CPU的负荷。 使用压缩的基本原则： 运算密集型的job，少用压缩 IO密集型的job，多用压缩 2、压缩格式 压缩格式 Hadoop自带 算法 文件扩展名 是否可以切分 工具 Hadoop编码/解码器 Default 是，直接使用 Default .deflate 否 N/A org.apache.hadoop.io.compress.DefaultCodec Gzip 是，直接使用 Default .gz 否 gzip org.apache.hadoop.io.compress.GzipCodec bzip 是，直接使用 bzip2 .bz2 是 bzip2 org.apache.hadoop.io.compress.BZip2Codec LZO 否，需要安装 LZO .lzo 是 Lzop com.hadoop.compression.lzo.LzopCodec LZ4 否，需要安装 lZ4 .lz4 否 N/A com.hadoop.compression.lzo.Lz4Codec Snappy 否，需要安装 Snappy .snappy 否 N

阅读目录 1 为什么要按列存储 2补充：数据压缩 3查询执行性能 add by zhj: 终于明白了什么是列式存储，什么是行式存储。这跟数据在存储介质中的存储结构有关， 列式存储是指，一列中的数据在存储介质中是连续存储的；行式存储是指一行中的数据在存储介质 中是连续存储的。简单的说，你可以把列式数据库认为是每一列都是一个表，这个表只有一列，如 果只在该列进行条件查询，速度就很快。 那这两种不同的存储方式对数据的CRUD有什么不同的影响呢？看了一些文章， 一般说的是下面两点 1。行数据库适用于读取出少行，多列的情况；列数据库相反，适用于读取出少数列，多数行的情况。 2。列数据库可以节省空间，如果某一行的某一列没有数据，那在列存储时，就可以不存储该列的值。 这比行数据库节省空间 我个人感觉列数据库只适合对单个列进行条件查询，不适合对几个列的字段进行多条件组合查询，因 为每一列上的查询都是独立完成的，相当于每一列都是一个单独的数据库表，需要每一列的查询结果进行 join连接，join的条件是row_key相等，但每列的查询结果集可能很大。当我们对一个列的数据进行切片， 存储在不同的机器上时，一般是按主键进行排序，然后分片。额，有点乱。以HBase为例来说吧，它每一 列的数、据其实都是按row-key排序的，这样的好处是，一定范围内row-key可以放在一台机器上，当我们 用row

CHALLENGE ON LEARNED IMAGE COMPRESSION 挑战赛由 Google、Twitter、Amazon 等公司联合赞助，是第一个由计算机视觉领域的会议发起的图像压缩挑战赛，旨在将神经网络、深度学习等一些新的方式引入到图像压缩领域。据 CVPR 大会官方介绍，此次挑战赛分别从 PSNR 和主观评价两个方面去评估参赛团队的表现。 比赛结果： http://www.compression.cc/results/ 地址： http://openaccess.thecvf.com/CVPR2018_workshops/CVPR2018_W50.py# 摘要：我们展示了一种用于低码率图像压缩的端到端可训练图像压缩框架。我们的方法基于变分自编码器，包含一个非线性编码器变换、均匀量化器、非线性解码器变换和后处理模块。压缩表征的先验概率通过使用超先验自编码器的拉普拉斯分布来建模，并与变换自编码器进行联合训练。为了去除低码率图像的压缩失真和模糊，我们提出了一种基于卷积的高效后处理模块。最终，考虑到 CLIC 挑战赛对码率的限制，我们使用一个码率控制算法来对每一个图像自适应性地分配码率。在验证集和测试集上的实验结果证明，使用感知损失训练出的该优化框架能够实现最优的 MS-SSIM 性能。结果还表明该后处理模块可以提高基于深度学习的方法和传统方法的压缩性能，在码率为 0.15

以下模块直接支持通用的数据打包和压缩格式：zlib，gzip，bz2，zipfile，以及 tarfile。 import zlib s = b’witch which has which witches wrist watch’ len(s) 41 t = zlib.compress(s) len(t) 37 zlib.decompress(t) b’witch which has which witches wrist watch’ zlib.crc32(s) 226805979 文章来源: https://blog.csdn.net/weixin_44523387/article/details/92164215

第二章 问题： 1、如何区分数字分类。 2、如何描述位置计数法。 3、如何把其他基数的数字转换成十进制数。 4、如何把十进制数转换成其他基数的数字。 5、如何描述基数2、8和16之间的关系。 6、如何解释以2的幂为基数的计算的重要性。 收获： 1、数字：抽象数学系统的一个单位，服从算术法则。 自然数：0或通过在0上重复加1得到的任何数。 负数：小于0的数，是在相应的正数前加上负号得到的数。 整数：自然数、自然数的负数或0. 有理数：整数或两个整数的商（不包括被0除的情况）。 2、基数：记数系统的基本数值，规定了这个系统中使用的数字量和数位位置的值。 位置记数法：一种表达数字的系统，数位按顺序排列，每个数位有一个位值，数字的值是每个数位和数位值的乘积之和。 0的重要性：位置记数法之所以能存在，完全是因为0这个概念。我们通常认为，0是所有现代数学分支的交集中的基本概念。 3、二进制数字：二进制记数系统中的一位数字，可以是0或1. 位：二进制数字的简称。 字节：8个二进制位。 字：一个或多个字节，子中的位数成为计算机的字长。 第三章 问题： 1、如何区分模拟数据和数字数据。 2、如何解释数据压缩和计算压缩率。 3、如何解释负数和浮点数的二进制格式。 4、如何描述ASCII和Unicode字符集的特征。 5、如何执行各种类型的文本压缩。 6、如何解释声音的本质和它的表示法。 7

1.顺序读写 kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能 顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写 生产者负责写入数据，Kafka会将消息持久化到磁盘，保证不会丢失数据，Kafka采用了俩个技术提高写入的速度。 1.顺序写入：在大学的计算机组成（划重点）里我们学过，硬盘是机械结构，需要指针寻址找到存储数据的位置，所以，如果是随机IO，磁盘会进行频繁的寻址，导致写入速度下降。Kafka使用了顺序IO提高了磁盘的写入速度，Kafka会将数据顺序插入到文件末尾，消费者端通过控制偏移量来读取消息，这样做会导致数据无法删除，时间一长，磁盘空间会满，kafka提供了2种策略来删除数据：基于时间删除和基于partition文件的大小删除。 2.Memory Mapped Files：这个和Java NIO中的内存映射基本相同，在大学的计算机原理里我们学过（划重点），mmf直接利用操作系统的Page来实现文件到物理内存的映射，完成之后对物理内存的操作会直接同步到硬盘。mmf通过内存映射的方式大大提高了IO速率，省去了用户空间到内核空间的复制。它的缺点显而易见--不可靠，当发生宕机而数据未同步到硬盘时，数据会丢失，Kafka提供了produce.type参数来控制是否主动的进行刷新

WebP、SharpP、自适应分辨率、Guetzli等图像压缩技术。 QQ空间GIF采用SharpP编码后，单图平均大小降幅90%，高峰期流量降幅30%。 https://www.douban.com/group/topic/112484202/ 阶段一：引入WebP压缩，对业务强侵入 WebP是Google在2010年推出的新一代web图片压缩格式，它的优势体现在： 具有更优的图像数据压缩算法，能带来更小的图片体积（原图基础上节约30%左右大小）； 拥有肉眼识别无差异的图像质量； 具备了无损和有损的压缩模式、Alpha 透明以及动画的特性； 在 JPEG 和 PNG 上的转化效果都相当优秀、稳定和统一； 支持GIF，对GIF的压缩效果尤其显著，可以节约企业大量的带宽资源以及数据空间。 运维同事及时跟进研究WebP并推动应用现网，并基于该技术建立了最初的CDN图片压缩访问方案。 阶段二：引入WebP/SharpP/自适应多方式压缩 老架构的图片压缩在CDN现网能正常服务部分业务，减小服务器端带宽消耗和数据存储的同时，提升了客户端的加载速度。 但该架构的固有缺陷也十分明显： 压缩能力有限，只支持WebP一种方式，跟不上行业压缩技术趋势； 压缩场景有限，只支持兼容WebP格式的部分客户端访问； 对业务侵入严重，导致实际推广效果不佳。 基于此，在优化图片压缩访问方案的时候

Hadoop的数据压缩 概述 ​ 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，I/O操作和网络数据传输要花大量的时间。还有，Shuffle与Merge过程同样也面临着巨大的I/O压力。 ​ 鉴于磁盘I/O和网络带宽是Hadoop的宝贵资源，数据压缩对于节省资源、最小化磁盘I/O和网络传输非常有帮助。不过，尽管压缩与解压操作的CPU开销不高，其性能的提升和资源的节省并非没有代价。 ​ 如果磁盘I/O和网络带宽影响了MapReduce作业性能，在任意MapReduce阶段启用压缩都可以改善端到端处理时间并减少I/O和网络流量。 ​ 压缩 Mapreduce 的一种优化策略：通过压缩编码对 Mapper 或者 Reducer 的输出进行压缩，以 减少磁盘IO ，提高MR程序运行速度（但相应增加了cpu运算负担）。 注意：压缩特性运用得当能提高性能，但运用不当也可能降低性能。 基本原则： （1） 运算密集型的job，少用压缩 （2） IO密集型的job，多用压缩 MR支持的压缩编码 压缩格式 hadoop自带？ 算法 文件扩展名 是否可切分 换成压缩格式后，原来的程序是否需要修改 DEFAULT 是，直接使用 DEFAULT .deflate

1. 关于数据压缩 0x1：什么是数据压缩？为什么要进行数据压缩？ 从信息论的角度来看数据压缩，本质上就是通过寻找一种编码方案，在不损失或者尽量少损失原始信源信号的前提下，将原始信源信号映射到另一个D元码字空间上。 在机器学习中，我们经常讨论到的”模型训练“，其本质上就是在寻找一个”信源映射函数“，例如线性回归的回归参数，就是一种信源映射函数，可以将输入空间X，一一映射到Y空间，所以，得到了一组模型参数，本质上就是得到了一个信源映射函数，此后，就可以由模型参数代替原始的样本数据。 回到信息论数据压缩的话题，信息论数据压缩讨论和定义的是：在信源映射函数中，应该将哪些码字分配给哪些信源，怎么分配是最优的，即节省传输开销的。 本文通过讨论信息压缩的基本临界值（即最短码字长度），从另一个方面来看熵的定义和合理性。通过对数据源中最频繁出现的结果分配较短的描述，而对不经常出现的结果分配较长的描述，可达到压缩数据的目的。 0x2：关于压缩编码的几个例子 1. 信源编码的定义 数据压缩的的本质是找到一种高效的压缩编码方案，这小节我们先定义一下信源编码的一些形式化定义与记号，然后一起来看几个关于压缩编码的例子。 关于随机变量X的信源编码C是从X的取值空间X到D * 的一个映射，其中D * 表示D元字母表D上有限长度的字符串所构成的集合，用C(x)表示x的码字并用 l(x) 表示C(x)的长度。