语音编码

语音信号的线性预测编码（ LPC ） by Goncely 1 线性预测技术概述 线性预测编码是语音处理中的核心技术，它在语音识别、合成、编码、说话人识别等方面都得到了成功的应用。其核心思想是利用输入信号 u 和历史输出信号 s 的线性组合来估计输出序列 s(n) ： 式中的 a i 和 b j 被称为预测系数，其传递函数可表示为： 该式为有理函数，在基于参数模型的谱估计法和系统辨识研究中，根据极点和零点数目的不同，它存在三种情况：一种是只有零点没有极点的情况，分母 U(z) 为单位 1 ，称为滑动平均模型，即 MA （ Moving-Average ）模型；另一种是只有极点没有零点的，分子 S(z) 为常数，称为自回归模型，即 AR （ Auto-Regressive ）模型；第三种是既有零点又有极点的，称为自回归滑动平均模型，即 ARMA （ Auto-Regressive Moving-Average ）模型。这三种模型中对于复杂的频谱特性的描述能力最强的应该是 ARMA 模型，但它的参数估计存在许多复杂问题。全极点模型的参数估计十分简便，而且往往只需要很少几个极点就可以相当好地逼近一种频谱或一种系统的频率响应，因为它的传递函数相当于一个递归数字滤波器，即 IIR 滤波器。众所周知，用一个三四阶的 IIR 数字滤波器来逼近希望的频率响应幅度特性就可能相当于一个二十多阶的

浅谈网络语音技术 当我们使用像Skype、QQ这样的工具和朋友流畅地进行语音视频聊天时，我们可曾想过其背后有哪些强大的技术在支撑？本文将对网络语音通话所使用到的技术做一些简单的介绍，算是管中窥豹吧。 一.概念模型 网络语音通话通常是双向的，就模型层面来说，这个双向是对称的。为了简单起见，我们讨论一个方向的通道就可以了。一方说话，另一方则听到声音。看似简单而迅捷，但是其背后的流程却是相当复杂的。我们将其经过的各个主要环节简化成下图所示的概念模型： 这是一个最基础的模型，由五个重要的环节构成：采集、编码、传送、解码、播放。 1.语音采集 语音采集指的是从麦克风采集音频数据，即声音样本转换成数字信号。其涉及到几个重要的参数：采样频率、采样位数、声道数。 简单的来说：采样频率，就是在1秒内进行采集动作的次数；采样位数，就是每次采集动作得到的数据长度。 而一个音频帧的大小就等于：（采样频率×采样位数×声道数×时间）/8。 通常一个采样帧的时长为10ms，即每10ms的数据构成一个音频帧。假设：采样率16k、采样位数16bit、声道数1，那么一个10ms的音频帧的大小为：（16000*16*1*0.01）/8 = 320 字节。计算式中的0.01为秒，即10ms。 2.编码 假设我们将采集到的音频帧不经过编码，而直接发送，那么我们可以计算其所需要的带宽要求，仍以上例：320*100

召开远程视频会议，可大大提高工作效率，节省与会人员的工作时间和会议费用。视频会议通话系统应用在政府、军队、教育、金融、交通、能源、医疗等行业及跨国、跨地区的企业中逐步普及。 EasyRTC视频通话系统 EasyRTC视频通话系统（以下简称EasyRTC）是一款覆盖全球的实时音视频通话与会议软件，结合了智能视频、智能语音、窄带传输、通道加密、数据加密等技术，可通过微信小程序、H5页面、APP、PC客户端等接入方式之间互通，快速从零开始搭建实时音视频通信，支持一对一、一对多等视频通话，满足语音视频社交、在线教育和培训、视频会议和远程医疗等场景；支持多终端接入方式之间互通，快速从零开始搭建实时音视频通信平台。 EasyRTC视频通话系统具有实时音视频通话，支持视频会议（单路、多路）、会议录像、会议回放、旁路直播等技术特点。（演示地址：https://demo.easyrtc.cn） 今天通过从语音通话和视频通话两个方面全面解读视频会议系统的功能架构。 一、语音通话 1、基础模型 在视频会议中，网络语音通话通常多对多的的，但就模型层面来说，我们讨论一个方向的通道就可以了。一方说话，另一方则听到声音。看似简单而迅捷，但是其背后的流程却是相当复杂的。我们将其经过的各个主要环节简化成下图所示的概念模型： 这是一个最基础的模型，由五个重要的环节构成：采集、编码、传送、解码、播放。

WAV 格式中常见的压缩编码 (compression code) WAV为微软公司(Microsoft)开发的一种声音文件格式，它符合RIFF(Resource Interchange File Format)文件规范，用于保存Windows平台的音频信息资源，被Windows平台及其应用程序所广泛支持，该格式也支持MSADPCM，CCITT A LAW等多种压缩运算法，支持多种音频数字，取样频率和声道。标准格式化的WAV文件采样频率为44100Hz，采样比特为16bit，因此标准的（这里说标准，只是一种广泛采用的波形音频方案）WAV文件和CD音频格式一样，也是44.1KHz的取样频率，16位量化数字，在声音文件质量和CD音频相差无几。 　下面由 useiee 详细介绍一下WAV格式文件常见的10种压缩码形式(Compression Code)。[1] 　1. PCM/uncompressed 　　Pulse Code Modulation，脉码调制信号。是模拟音频信号经模数转换（A/D变换）直接形成的二进制序列，该文件没有附加的文件头和文件结束标志。Windows的Convert工具可以把PCM音频格式的文件转换成Microsoft的WAV格式的文件。 　　PCM脉码调制数字音频格式是70年代末发展起来的，80年代初由飞利浦和索尼公司共同推出。PCM的音频格式也被DVD

FFmpeg 是一个 自由软件 ，可以运行音频和视频多种格式的录影、转换、流功能 [1] ，包含了libavcodec ─这是一个用于多个项目中音频和视频的解码器库，以及libavformat——一个音频与视频格式转换库。 "FFmpeg"这个单词中的"FF"指的是"Fast Forward" [2] 。有些新手写信给"FFmpeg"的项目负责人，询问FF是不是代表“Fast Free”或者“Fast Fourier”等意思，"FFmpeg"的项目负责人回信说“Just for the record, the original meaning of "FF" in FFmpeg is "Fast Forward"...” 这个项目最初是由 Fabrice Bellard 发起的，而现在是由Michael Niedermayer在进行维护。许多FFmpeg的开发者同时也是 MPlayer 项目的成员，FFmpeg在MPlayer项目中是被设计为服务器版本进行开发。 2011年3月13日，FFmpeg部分开发人士决定另组libav，网址 http://libav.org ，同时制定了一套关于项目继续发展和维护的规则。 [3] [4] 目录 [ 隐藏 ] 1 组成组件 2 参数 2.1 主要参数 2.2 图像参数 2.3 声音参数 2.4 注意事项 3 支持的编码器、格式和协议 3.1

自从在博客园发布 开源即时通信系统GG（QQ高仿版） 以来，结识了很多做IM的朋友，然后我和我的伙伴们也接到了很多与IM相关的项目。相比在发布GG之前难以接到项目的状况相比，现在简直太幸福了，虽然做项目很辛苦，但毕竟有钱赚，那辛苦也值了。　 饮水思源，这里要感谢 博客园 提供了这么好的一个平台，让我们能展现自己的实力，提升我们的知名度，然后才能接到了更多项目。所以，我强烈建议那些希望接项目、接私单的朋友，都来博客园写博客吧，写出自己的知名度后，真是好处多多！ 言归正传，前段时间做了个在线教育培训的项目，与视频会议比较类似，所以了，我打算像GGTalk开源即时通讯系统一样，搞一个开源视频会议系统并把实现的原理和源码都分享出来，让有兴趣的朋友可以参考下。继承GG的名称，我把这个开源视频会议系统命名为GGMeeting，目前版本为1.0，后续功能会不断增强。 　　一般而言，视频会议的主要核心功能是：多人语音聊天、多人视频聊天、公共电子白板、会议房间管理。本文我们将介绍视频会议系统的主要功能及其实现原理，后面有空在介绍详细每个功能的详细实现细节。 想要直接下载体验的朋友请点击： “源码下载中心” 一.语音通话 1.基础模型 在视频会议中，网络语音通话通常多对多的的，但就模型层面来说，我们讨论一个方向的通道就可以了。一方说话，另一方则听到声音。看似简单而迅捷，但是其背后的流程却是相当复杂的

本文引用了微信公众号“鲜枣课堂”的《视频编码零基础入门》文章内容。为了更好的内容呈现，引用和收录时内容有改动，转载时请注明原文来源信息，尊重原作者的劳动。 1、引言 如今我们所处的时代，是移动互联网时代，也可以说是视频时代。从快播到抖音，从“三生三世”到“延禧攻略”，我们的生活，被越来越多的视频元素所影响。 而这一切，离不开视频拍摄技术的不断升级，还有视频制作产业的日益强大。 此外，也离不开通信技术的飞速进步。试想一下，如果还是当年的56K Modem拨号，或者是2G手机，你还能享受到现在动辄1080P甚至4K的视频体验吗？ 除了视频拍摄工具和网络通信技术升级之外，我们能享受到视频带来的便利和乐趣，还有一个重要因素，就是视频编码技术的突飞猛进。 视频编码技术涉及的内容太过专业和庞杂，市面上的书籍或博客多数都只是枯燥的技术概念罗列，对于新手来说读完依旧蒙逼是常态，本文将借此机会，专门给大家做一个关于视频编码的零基础科普。 ▼ 本文涉及概念较多，为了方便阅读，本文的内容目录对应如下： 1、引言 2、系列文章 3、图像基础知识 3.1）什么是像素？ 3.2）什么是PPI？ 3.3）颜色在计算机里是如何表示的？ 4、视频编码基础知识 4.1）视频和图像和关系 4.2）未经编码的视频数据量会有多大？ 4.3）什么是编码？ 5、视频编码的实现原理 5.1）视频编码技术的基本原理 5.2

信源编码 信源编码就是将复杂的信源信息如文字、声音、图像、视频等用数字信号来表示的过程。信源编码的作用是将模拟信号转换成数字信号，追求的目标是经济、有效但完整的用数字表达信源信息，不同的信息内容有不同的数字编码算法。 波形编码： 波形编码就是以数字序列编码的方式尽可能重新构建信源的波形。在时间轴上对模拟信源按一定的速率进行采样，然后将幅度样本分段量化，并用数字序列表示。解码是其反过程，将收到的数字序列恢复成模拟信号。 语音的波形编码就是在信源端以波形逼近为原则对语音信号进行采样、量化、压缩编码，解码端根据这些编码后的数字序列恢复出语音信号的波形。 波形编码具有语音质量好，抗干扰能力强等特点，适用于需要高质量语音的环境。但波形编码的缺点是信息量大，要求的编码速率高，一般在16~64kbit/s之间，在传输时占用较多的带宽资源。应用：固网交换机中采用的PCM编码方式就是波形编码。 参数编码： 参数编码是分析并提取信源信息模型中必要的、关键的但不是全部的特征参数，将上述参数信息通过采样、量化、编码，然后合成发送出去；在接收端通过接收到的参数取值的编码，还原出信源信息。 比如说移动系统中语音参数编码就是从听觉的角度来确定能够重现语音的关键参数；在接收端利用这些特征参数信息重新合成语音。参数编码具有压缩比大、编码速率低、传输带宽占用少的优点，一般在2.4kbit/s以下；缺点是计算量大

1.录音的时候设置语音格式为amr function startRecord() { startTimestamp = (new Date()).getTime(); r = null; r = plus.audio.getRecorder(); r.record({ format:"amr", filename: "_doc/audio/" }, function(p) { console.log(p); rurl = p; if(IsSendAudio){ //执行发送方法 sendAudio(rurl); }else{ plus.io.resolveLocalFileSystemURL(rurl,function(entry){ entry.remove(); },function(e){}) } }, function(e) { alert("Audio record failed: " + e.message); }); } 2.base64转语音文件到本地 //将base64编码转换成录音文件 dataURL2Audio = function(base64Str, callback) { var myArray=new Array(); var myArray = base64Str.split(";base64,"); console.log(myArray[1]+