信源编码

信源编码 信源编码就是将复杂的信源信息如文字、声音、图像、视频等用数字信号来表示的过程。信源编码的作用是将模拟信号转换成数字信号，追求的目标是经济、有效但完整的用数字表达信源信息，不同的信息内容有不同的数字编码算法。 波形编码： 波形编码就是以数字序列编码的方式尽可能重新构建信源的波形。在时间轴上对模拟信源按一定的速率进行采样，然后将幅度样本分段量化，并用数字序列表示。解码是其反过程，将收到的数字序列恢复成模拟信号。 语音的波形编码就是在信源端以波形逼近为原则对语音信号进行采样、量化、压缩编码，解码端根据这些编码后的数字序列恢复出语音信号的波形。 波形编码具有语音质量好，抗干扰能力强等特点，适用于需要高质量语音的环境。但波形编码的缺点是信息量大，要求的编码速率高，一般在16~64kbit/s之间，在传输时占用较多的带宽资源。应用：固网交换机中采用的PCM编码方式就是波形编码。 参数编码： 参数编码是分析并提取信源信息模型中必要的、关键的但不是全部的特征参数，将上述参数信息通过采样、量化、编码，然后合成发送出去；在接收端通过接收到的参数取值的编码，还原出信源信息。 比如说移动系统中语音参数编码就是从听觉的角度来确定能够重现语音的关键参数；在接收端利用这些特征参数信息重新合成语音。参数编码具有压缩比大、编码速率低、传输带宽占用少的优点，一般在2.4kbit/s以下；缺点是计算量大

1. 关于数据压缩 0x1：什么是数据压缩？为什么要进行数据压缩？ 从信息论的角度来看数据压缩，本质上就是通过寻找一种编码方案，在不损失或者尽量少损失原始信源信号的前提下，将原始信源信号映射到另一个D元码字空间上。 在机器学习中，我们经常讨论到的”模型训练“，其本质上就是在寻找一个”信源映射函数“，例如线性回归的回归参数，就是一种信源映射函数，可以将输入空间X，一一映射到Y空间，所以，得到了一组模型参数，本质上就是得到了一个信源映射函数，此后，就可以由模型参数代替原始的样本数据。 回到信息论数据压缩的话题，信息论数据压缩讨论和定义的是：在信源映射函数中，应该将哪些码字分配给哪些信源，怎么分配是最优的，即节省传输开销的。 本文通过讨论信息压缩的基本临界值（即最短码字长度），从另一个方面来看熵的定义和合理性。通过对数据源中最频繁出现的结果分配较短的描述，而对不经常出现的结果分配较长的描述，可达到压缩数据的目的。 0x2：关于压缩编码的几个例子 1. 信源编码的定义 数据压缩的的本质是找到一种高效的压缩编码方案，这小节我们先定义一下信源编码的一些形式化定义与记号，然后一起来看几个关于压缩编码的例子。 关于随机变量X的信源编码C是从X的取值空间X到D * 的一个映射，其中D * 表示D元字母表D上有限长度的字符串所构成的集合，用C(x)表示x的码字并用 l(x) 表示C(x)的长度。