多媒体技术原理与应用
------------------------------2008-12-28-------------------------------------------------------------------------
<一>多媒体
多媒体分类:
感觉媒体(perception medium):各种语言,音乐,自然界的各种声音,图形,图像,计算机系统中的文字,数据和文件等.
表示媒体(representation medium):语言编码,文本编码,图像编码.
表现媒体(presentation medium):输入与输出
存储媒体(storage medium):用于存放表示媒体
传输媒体(transmission medium):通信的信息载体,有双绞线,同轴电缆,光纤.
多媒体技术及其特点:
所谓多媒体技术就是计算机交互式综合处理多种媒体信息---文本,图形,图像和声音,使多种信息建立逻辑连接,集成为一个系统并具
有交互性.
简言之,多媒体技术就是计算机综合处理声,文,图信息的技术
具有集成性,实时性和交互性.
强实时性:hard realtime
高清晰度电视:HDTV
高保真音响:HiFi
多媒体:Multimedia
计算机电视:Compuvision
电视计算机:teleputer
位映射:Bitmap
窗口:window
图符:icon
1985年美国Commodore公司首先推出世界上第一台多媒体计算机(Amiga系统).采用三个专用芯片:图形处理芯片Agnus8370,音响处理
芯片Paula8364,视频处理芯片Denise8362.
交互式紧凑光盘系统CD-I:Compactg disc interactive
国际标准化组织:ISO
交互式数字视频系统DVI:Digital video interactive
音频/视频支持系统AVSS:audio video support system
音频视频内核AVK:audio video kernel
1990年10月,在微软公司召开多媒体开发工作者会议上提出MPC1.0标准.
多媒体个人计算机市场协会MPMC:The Multimedia PC Marketing Council
目前多媒体计算机系统采用的是ISO和ITU联合制定的数字化图像压缩国际标准,具体来说,有三个主要标准:
(1)联合图像专家组:JPEG标准,Joint Photographic Experts Group
(2)运动图像专家组:MPEG系统标准,Moving Picture Experts Group
(3)H.26X标准:ITU推荐的H.261标准即P*64kbps方案,其标题:视声服务用视像编码方式.
其中P=1或2时,只支持QCIF(quarter common intermediate format)分辨率(176*144)
P>=6时,支持CIF(common intermediate format)分辨率(352*288)
光盘系统是目前较好的多媒体数据存储设备,分为只读光盘CD-ROM,一次写多次读光盘WORM,可擦写光盘writable.
交互式编著工具(authoring tool):动画制作软件Macromind Director,3DStudio
多媒体节目编著工具:Tool Book,Authorware
多媒体数据库管理系统:MDBMS
多媒体技术的典型应用:
(1)教育和培训
(2)咨询与演示
(3)娱乐与游戏
(4)管理信息系统MIS
(5)视频会议系统
(6)计算机支持协同工作
(7)视频服务系统
<二>多媒体数据压缩技术
YID彩色空间:光强,色彩和色饱和度各分量的带宽为4.2MHZ,1.5MHZ,0.5MHZ
各分量均被数字化为8个比特,那么1秒钟信号的数据量为(4.2+1.5+0.5)*2*8MB=99.2MB
人正常说话的音频一般在20HZ-40HZ(标准的是3.4KHZ)之间,即人类语音的带宽是4KHZ
要使数字化技术实用化,关键是去掉信号数据的冗余性,即数据压缩问题
数据冗余种类:
空间冗余:在同一幅图像中,规则物体和规则背景(所谓规则是指表面颜色分布是有序的而不是完全杂乱无章的)
的表面物理特性具有相关性.
时间冗余:图像序列中的两幅相信的图像,后一幅图像与前一幅图像之间有较大的相关性.
信息熵冗余:指一组数据所携带的信息量.
结构冗余:有些图像从大域上看存在着非常强的纹理结构,例如布纹图像和草席图像.
知识冗余:有许多图像的理解与某些基础知识有相当大的相关性.
视觉冗余:人类视觉系统对于图像场的任何变化,并不是都能感知的.
事实上人类视觉系统一般的分辨能力为2的6次方灰度等级,而一般图像量化采用2的8次方灰度等级.
数字图像编码技术中彩色空间及其转换
(1)RGB彩色空间 计算机系统中使用的彩色模型.
(2)HSI彩色空间 H(hue,色调)S(saturation,饱和度)I(intensity,光强度)
(3)YUV彩色空间 Y(亮度信号)U,V(色差信号B-Y,R-Y)我国和德国电视系统采用的制式PAL-D
此模型的特点:亮度信号和色差信号是分离的,容易使彩色电视系统与只对亮度敏感的黑白电视机亮度信号兼容.
采用双倍亮度采样4:2:2方案
(4)YIQ彩色空间:另一种常用的亮度与色差分离的模型,美国的电视系统采用NTSC制式.Y(亮度)I,Q(共同描述图像的色调和饱和度)
大多数的媒体转换都是"合成"与"识别",媒体转换中最重要的两个过程.
数据压缩方法(根据解码后数据与原始数据是否完全一致):
可逆编码(无失真编码):HUFFMAN编码,算术编码,行程长度编码
不可逆编码(有失真编码)
根据压缩的原理:
预测编码:通常用的方法是差分脉冲编码调制(DPCM)和自适应差分脉冲编码调制(ADPCM).
变换编码:将图像光强矩阵(时域信号)变换到频域空间上进行处理.一般采用
正交变换,离散余弦变换DCT,离散傅立叶变换DFT,Walsh-Hadamard变换(WHT),小波变换WT来实现压缩算法.
量化与向量量化编码
信息熵编码:最常见的方法:HUFFMAN编码,Shannon编码和算术编码.
子带编码:Subband编码
模型编码
线性预测DPCM的基本原理是基于图像中相邻像素之间具有较强的相关性.
预测编码主要是在时域上进行,变换编码则利用频域中能量较集中的特点,在频域(变换域)上进行.
ISO/IEC 10918号标准:多灰度连续色调静态图像压缩编码即JPEG标准选定ADCT作为静态图像压缩的标准化算法.
本标准有两大分类:以DCT为基础,以二维空间DPCM为基础.
在DCT方式中,又分为基本系统和扩展系统.
JPEG定义两种相互独立的基本压缩算法,一种是基于DCT的有失真的压缩算法,另一种是基于空间线性预测技术DPCM的无失真压缩算法
FDCT: forward DCT 离散余弦正变换
IDCT: inverse DCT 离散余弦逆变换
JPEG2000作为JPEG升级版,采用小波变换(wavelet transform)为主的多分辨率编码方式
JPEG2000统一了面向静态图像和二值图像的编码方式,是即支持低比率压缩又支持高比率压缩的通用编码方式.该算法主要特点:
高压缩率(低比特速率)
无损压缩
渐进传输
感兴趣区域压缩(region of interest ROI)
MPEG标准:是面向运动图像压缩的一个系列标准.
最初MPEG专家组的工作项是三个:1.5MBPS,10MBPS,40MBPS传输速率下图像编码分别命名:MPEG-1,MPEG-2,MPEG-3
MPEG-1标准名称:用于大约高达1.5MBPS速率的数字存储媒体的运动图像及其伴音编码
coding of moving pictures and associated audio for digital storage media at up to about 1.5Mbps
SIF:Standard interchange format NTSC制式
MPEG-2标准名称:运动图像及其伴音信息的通用编码
generic coding of moving pictures and associated audio
MPEG-4标准名称:甚低速率视听编码
very-low bitrate audio-visual coding
数字盒式磁带:DCC,digital compact cassette
环冗余校验:CRC,cyclic redundancy check
MPEG-1视频数据流的结构:
运动序列,图像组,图像,块,宏块,图像切片.
在MPEG编码算法中采用两种基本技术:即为了减少时间上冗余性的基于块的运动补偿技术和基于DCT变换的减少空间上冗余性的ADCT
技术.
MPEG图像类型:I图像,P图像,B图像
I:(intra picture)
P:(predicted picture)前向预测
B:(bidirectional picture)双向预测
运动补偿技术主要用于消除P图像和B图像在时间上的冗余性,提高压缩效率.
帧内宏块:intra macroblock简称I块
前向预测宏块:forward predicted macroblock简称F块
后向预测宏块:backward predicted macroblock简称B块
平均宏块:average macroblock简称A块
数字广播电视,DVD,Pay TV,VOD,交互式电视采用了MPEG-2
MPEG-4:它是针对低速率(<64kbps)下的视频,音频编码和交互播放开发的算法和工具,其显著特点是基于内容的编码,更加注重多媒体系统的交互性,互操作性和灵活性.
MPEG-4采用了基于对象表示的概念,引入了视听对象(audio/visual objects AVO)几个主要组成部分
(1)传输多媒体集成框架delivery multimedia integration framework,DMIF
(2)场景描述 binary format for scenes ,BIFS .对象描述子,object descriptor ,OD. 基本流,elementary stream ,ES
(3)音频编码
(4)视频编码
MPEG-4压缩算法ASF(advanced streaming format)
ITU H2.61标准化方案的标题为"64kbps视声服务用视像编码方式"又称为P*64KBPS视频编码标准
P*64KBPS视频编码压缩算法采用混合编码方法,即基于DCT的变换编码方法和带有运动预测的DPCM预测编码方法的混合.
语音的基本参数包括基音周期,共振峰,语音谱和声强.语音生成机构模型相对应的声源由基音周期参数描述,声道由共振峰参数描述,放射机构则由语音谱和声强描述.
DCME:digital circuit multiplication equipment
基于短延时码本激励线性预测编码low delay code excited linear prediction ,LD-CELP
AbS: analysis by synthesis
------------------------------2008-12-28-------------------------------------------------------------------------
------------------------------2008-12-28-------------------------------------------------------------------------
<一>多媒体
多媒体分类:
感觉媒体(perception medium):各种语言,音乐,自然界的各种声音,图形,图像,计算机系统中的文字,数据和文件等.
表示媒体(representation medium):语言编码,文本编码,图像编码.
表现媒体(presentation medium):输入与输出
存储媒体(storage medium):用于存放表示媒体
传输媒体(transmission medium):通信的信息载体,有双绞线,同轴电缆,光纤.
多媒体技术及其特点:
所谓多媒体技术就是计算机交互式综合处理多种媒体信息---文本,图形,图像和声音,使多种信息建立逻辑连接,集成为一个系统并具
有交互性.
简言之,多媒体技术就是计算机综合处理声,文,图信息的技术
具有集成性,实时性和交互性.
强实时性:hard realtime
高清晰度电视:HDTV
高保真音响:HiFi
多媒体:Multimedia
计算机电视:Compuvision
电视计算机:teleputer
位映射:Bitmap
窗口:window
图符:icon
1985年美国Commodore公司首先推出世界上第一台多媒体计算机(Amiga系统).采用三个专用芯片:图形处理芯片Agnus8370,音响处理
芯片Paula8364,视频处理芯片Denise8362.
交互式紧凑光盘系统CD-I:Compactg disc interactive
国际标准化组织:ISO
交互式数字视频系统DVI:Digital video interactive
音频/视频支持系统AVSS:audio video support system
音频视频内核AVK:audio video kernel
1990年10月,在微软公司召开多媒体开发工作者会议上提出MPC1.0标准.
多媒体个人计算机市场协会MPMC:The Multimedia PC Marketing Council
目前多媒体计算机系统采用的是ISO和ITU联合制定的数字化图像压缩国际标准,具体来说,有三个主要标准:
(1)联合图像专家组:JPEG标准,Joint Photographic Experts Group
(2)运动图像专家组:MPEG系统标准,Moving Picture Experts Group
(3)H.26X标准:ITU推荐的H.261标准即P*64kbps方案,其标题:视声服务用视像编码方式.
其中P=1或2时,只支持QCIF(quarter common intermediate format)分辨率(176*144)
P>=6时,支持CIF(common intermediate format)分辨率(352*288)
光盘系统是目前较好的多媒体数据存储设备,分为只读光盘CD-ROM,一次写多次读光盘WORM,可擦写光盘writable.
交互式编著工具(authoring tool):动画制作软件Macromind Director,3DStudio
多媒体节目编著工具:Tool Book,Authorware
多媒体数据库管理系统:MDBMS
多媒体技术的典型应用:
(1)教育和培训
(2)咨询与演示
(3)娱乐与游戏
(4)管理信息系统MIS
(5)视频会议系统
(6)计算机支持协同工作
(7)视频服务系统
<二>多媒体数据压缩技术
YID彩色空间:光强,色彩和色饱和度各分量的带宽为4.2MHZ,1.5MHZ,0.5MHZ
各分量均被数字化为8个比特,那么1秒钟信号的数据量为(4.2+1.5+0.5)*2*8MB=99.2MB
人正常说话的音频一般在20HZ-40HZ(标准的是3.4KHZ)之间,即人类语音的带宽是4KHZ
要使数字化技术实用化,关键是去掉信号数据的冗余性,即数据压缩问题
数据冗余种类:
空间冗余:在同一幅图像中,规则物体和规则背景(所谓规则是指表面颜色分布是有序的而不是完全杂乱无章的)
的表面物理特性具有相关性.
时间冗余:图像序列中的两幅相信的图像,后一幅图像与前一幅图像之间有较大的相关性.
信息熵冗余:指一组数据所携带的信息量.
结构冗余:有些图像从大域上看存在着非常强的纹理结构,例如布纹图像和草席图像.
知识冗余:有许多图像的理解与某些基础知识有相当大的相关性.
视觉冗余:人类视觉系统对于图像场的任何变化,并不是都能感知的.
事实上人类视觉系统一般的分辨能力为2的6次方灰度等级,而一般图像量化采用2的8次方灰度等级.
数字图像编码技术中彩色空间及其转换
(1)RGB彩色空间 计算机系统中使用的彩色模型.
(2)HSI彩色空间 H(hue,色调)S(saturation,饱和度)I(intensity,光强度)
(3)YUV彩色空间 Y(亮度信号)U,V(色差信号B-Y,R-Y)我国和德国电视系统采用的制式PAL-D
此模型的特点:亮度信号和色差信号是分离的,容易使彩色电视系统与只对亮度敏感的黑白电视机亮度信号兼容.
采用双倍亮度采样4:2:2方案
(4)YIQ彩色空间:另一种常用的亮度与色差分离的模型,美国的电视系统采用NTSC制式.Y(亮度)I,Q(共同描述图像的色调和饱和度)
大多数的媒体转换都是"合成"与"识别",媒体转换中最重要的两个过程.
数据压缩方法(根据解码后数据与原始数据是否完全一致):
可逆编码(无失真编码):HUFFMAN编码,算术编码,行程长度编码
不可逆编码(有失真编码)
根据压缩的原理:
预测编码:通常用的方法是差分脉冲编码调制(DPCM)和自适应差分脉冲编码调制(ADPCM).
变换编码:将图像光强矩阵(时域信号)变换到频域空间上进行处理.一般采用
正交变换,离散余弦变换DCT,离散傅立叶变换DFT,Walsh-Hadamard变换(WHT),小波变换WT来实现压缩算法.
量化与向量量化编码
信息熵编码:最常见的方法:HUFFMAN编码,Shannon编码和算术编码.
子带编码:Subband编码
模型编码
线性预测DPCM的基本原理是基于图像中相邻像素之间具有较强的相关性.
预测编码主要是在时域上进行,变换编码则利用频域中能量较集中的特点,在频域(变换域)上进行.
ISO/IEC 10918号标准:多灰度连续色调静态图像压缩编码即JPEG标准选定ADCT作为静态图像压缩的标准化算法.
本标准有两大分类:以DCT为基础,以二维空间DPCM为基础.
在DCT方式中,又分为基本系统和扩展系统.
JPEG定义两种相互独立的基本压缩算法,一种是基于DCT的有失真的压缩算法,另一种是基于空间线性预测技术DPCM的无失真压缩算法
FDCT: forward DCT 离散余弦正变换
IDCT: inverse DCT 离散余弦逆变换
JPEG2000作为JPEG升级版,采用小波变换(wavelet transform)为主的多分辨率编码方式
JPEG2000统一了面向静态图像和二值图像的编码方式,是即支持低比率压缩又支持高比率压缩的通用编码方式.该算法主要特点:
高压缩率(低比特速率)
无损压缩
渐进传输
感兴趣区域压缩(region of interest ROI)
MPEG标准:是面向运动图像压缩的一个系列标准.
最初MPEG专家组的工作项是三个:1.5MBPS,10MBPS,40MBPS传输速率下图像编码分别命名:MPEG-1,MPEG-2,MPEG-3
MPEG-1标准名称:用于大约高达1.5MBPS速率的数字存储媒体的运动图像及其伴音编码
coding of moving pictures and associated audio for digital storage media at up to about 1.5Mbps
SIF:Standard interchange format NTSC制式
MPEG-2标准名称:运动图像及其伴音信息的通用编码
generic coding of moving pictures and associated audio
MPEG-4标准名称:甚低速率视听编码
very-low bitrate audio-visual coding
数字盒式磁带:DCC,digital compact cassette
环冗余校验:CRC,cyclic redundancy check
MPEG-1视频数据流的结构:
运动序列,图像组,图像,块,宏块,图像切片.
在MPEG编码算法中采用两种基本技术:即为了减少时间上冗余性的基于块的运动补偿技术和基于DCT变换的减少空间上冗余性的ADCT
技术.
MPEG图像类型:I图像,P图像,B图像
I:(intra picture)
P:(predicted picture)前向预测
B:(bidirectional picture)双向预测
运动补偿技术主要用于消除P图像和B图像在时间上的冗余性,提高压缩效率.
帧内宏块:intra macroblock简称I块
前向预测宏块:forward predicted macroblock简称F块
后向预测宏块:backward predicted macroblock简称B块
平均宏块:average macroblock简称A块
数字广播电视,DVD,Pay TV,VOD,交互式电视采用了MPEG-2
MPEG-4:它是针对低速率(<64kbps)下的视频,音频编码和交互播放开发的算法和工具,其显著特点是基于内容的编码,更加注重多媒体系统的交互性,互操作性和灵活性.
MPEG-4采用了基于对象表示的概念,引入了视听对象(audio/visual objects AVO)几个主要组成部分
(1)传输多媒体集成框架delivery multimedia integration framework,DMIF
(2)场景描述 binary format for scenes ,BIFS .对象描述子,object descriptor ,OD. 基本流,elementary stream ,ES
(3)音频编码
(4)视频编码
MPEG-4压缩算法ASF(advanced streaming format)
ITU H2.61标准化方案的标题为"64kbps视声服务用视像编码方式"又称为P*64KBPS视频编码标准
P*64KBPS视频编码压缩算法采用混合编码方法,即基于DCT的变换编码方法和带有运动预测的DPCM预测编码方法的混合.
语音的基本参数包括基音周期,共振峰,语音谱和声强.语音生成机构模型相对应的声源由基音周期参数描述,声道由共振峰参数描述,放射机构则由语音谱和声强描述.
DCME:digital circuit multiplication equipment
基于短延时码本激励线性预测编码low delay code excited linear prediction ,LD-CELP
AbS: analysis by synthesis
------------------------------2008-12-28-------------------------------------------------------------------------
来源：https://www.cnblogs.com/zjp8023/archive/2008/12/29/Multimedium01.html