多媒体专题作为软件工程的第四专题

专题四：多媒体专题 1、多媒体知识： 1.1多媒体知识概述  基本概念 多媒体信息一般指用文本、图形、图像、动画、音频和视频影像等形式表示的信息。多媒体计算机技术是指利用计算机交互地综合处理相互之间有联系的文本、图形、图像、动画、音频、视频等多种信息。多媒体的主要特性表现在信息载体的多样性、交互性和集成性。 多媒体技术是指能对多种载体上的信息和多种存储体上的信息进行处理的技术； 而媒体是指承载信息的载体； 多媒体具有交互性而媒体不具备交互性； 屏幕更新频率：显示器每秒更新的次数； 彩数：显示画面的色彩数；(bpp是指表示每个像素所需的2进制位数) 分辨率：显示画面的细腻程度；  关键技术 在多媒体的研究与开放中，利用了许多关键技术，这些技术是支持多媒体研究与开发的核心。  数据压缩技术 数字化的声音和图像包含了大量的数据。如果不进行数据压缩，实时处理数字化的声音和图像信息所需要的存储容量、传输率和计算速度都是目前计算机难以承受的。所以数据压缩技术一直是多媒体各项研究的重点。  大规模集成电路（VLSI）制造技术 进行声音和图像信息的压缩处理要求进行大量的计算。VLSI技术的发展让我们可以生产低廉的数字信号处理器（DSP）芯片用硬件来完成复杂的计算处理。  大容量的光盘存储器（CD-ROM） 多媒体信息虽然经过了压缩处理，但还是含有大量的数据，所以需要有大容量的存储设备来保存这些信息。  实时多任务操作系统 多媒体技术需要同时处理声音、文字、图像等多种媒体信息，其中声音和视频图像还要求实时处理，需要有能支持对多媒体信息进行实时处理的操作系统。  构成 通常，多媒体系统由以下4个部分构成。  硬件系统 最重要是根据多媒体技术标准而研制生产的多媒体信息处理芯片、板卡和光盘驱动器等。  多媒体操作系统 这是多媒体的核心，具有实时任务调度、多媒体数据转换和同步控制、对多媒体设备的驱动和控制，以及图形用户界面管理等。  媒体处理系统工具 它是多媒体重要的组成部分，也称为多媒体系统开发工具软件。  用户应用软件 1.2图形和图像  基本原理 ◆亮度、色调和饱和度 亮度：表示光的明亮程度，它与被观察物体的发光强度和人类视觉系统的视敏功能有关。 色调：反映的是颜色的种类，是决定颜色的基本特性。 饱和度：指颜色的纯度，即掺入白光的程度，或者说是颜色的深浅程度。 色调和饱和度通称为色度。 ◆彩色空间 在多媒体技术中，用得最多的是RGB彩色空间表示。 而一般在彩色电视系统中，采用的是YUV彩色空间。 另外，还有CIE XYZ、CIE LAB、CCIR601-2YCbCr彩色空间等。 ◆图形图像文件 图形是指用计算机绘制工具绘制的画面，包括直线、曲线，圆/圆弧，方框等成分。图形一般按各个成分的参数形式存储，可以对各个成分进行移动、缩放、旋转和扭曲等变换，可以在绘图仪上将各个成分输出。 图像是由输入设备捕捉的实际场景或以数字化形式存储的任意画面。图像可以用位图或矢量图形式存储。 ●位图 也叫黑白图象，它是按图像点阵形式存储各像素的颜色编码或灰度级。位图适于表现含有大量细节的画面，并可直接、快速地显示或印出。其存储量大，一般需要压缩存储。 ●矢量图 它用一组指令或参数来描述其中的各个成分，易于对各个成分进行移动、缩放、旋转和扭曲等变换。矢量图适于描述由多种比较规则的图形元素构成的图形，但输出图像画面时将转换成位图形式。 图形图像的主要指标有分辨率、色彩数、图形灰度。分辨率有屏幕分辨率和输出分辨率。前者用每英寸行数和列数表示，后者是以每英寸的像点数表示。图形图像的色彩数和灰度级则是用位来表示。真彩：24位 图形和图像文件格式很多，以下主要介绍几种常见的格式。  BMP：PC机上最常见的位图格式，尤其在Windows系统中使用特别广泛。  GIF：主要用于在不同平台上进行图像交换，是经过压缩的图形格式。GIF文件最大64MB，颜色数最多256色。  JPEG：文件压缩比较高，文件比较小。虽然它采用的是有损压缩算法，但对图形图像的损失影响并非很大。其色彩数最高可达到24位。  TIF：有压缩和非压缩两大类，是许多图像应用软件所支持的主要文件格式之一，其最高支持的色彩数可达16M。  PSD：Photoshop中的标准文件格式，专门为Photoshop而优化。  CDR：CorelDraw的文件格式。 注：Photoshop和CorelDraw都是目前最流行的图形图像处理软件。 1.3音频  基本概念 模拟录音方式直接记录音频信号的波形，重放时用磁头拾取信号。目前模拟录音动态范围可达到80db（分贝，信噪比的单位），为进一步提高音质，采用数字音频技术。 计算机内的音频必须是数字形式的。数字声音是一个数据序列，是一种采样的声音，它是由模拟声音经抽样、量化和编码后得到的。 在对音频数据进行压缩时，需要从语音质量、数据率和计算量3个方面来加以考虑。 语音压缩编码从压缩方法来看，可分为3类。  波形编码：采用这种编码可获得高质量语音，但数据率不易降低。  参数编码：该方法的数据率低，但质量又不高。  混合编码：综合前面两种方法的编码方法。 语音、语言和音乐合成 语音合成从合成采用的技术来讲可分为：  发音参数合成  声道模型参数合成  波形编辑合成 如果从合成策略上又可分为：  频谱逼近  波形逼近 实现计算机语音输出有两种方法：一.录音/重放；二.文-与转换； 语言合成目前和仅处于文字到语音转换的层次上。文-语转换（TTS）是一种智能型的语音合成，需要建立语音参数数据库、发音规则库等。 音乐合成技术有两种。 ◆调频（FM）合成 FM合成方式是将多个频率的简单声音合成复合音来模拟各种乐器的声音。FM合成方式是早期使用的方法，用这种方法产生的声音音色少、音质差。 ◆波形表（Wave Table）合成 这种方法是先把各种真正乐器的声音录下来，再进行数字化处理形成波形数据，然后将各种波形数据存储在只读存储器中。发音时通过查表找到所选乐器的波形数据，再经过调制、滤波、再合成等处理形成立体声送去发音。存储声音样本的ROM容量的大小对波表合成效果影响很大。 MIDI: MIDI（musical instrument digital interface）是数字乐器接口的国际标准，它定义了电子音乐设备与计算机的通讯接口，规定了使用数字编码来描述音乐乐谱的规范。 常见的MIDI设备有电子琴等。计算机中以MID为扩展名的文件称为MIDI文件，其中存放的是对MIDI设备的命令，即每个音符的频率、音量、通道号等指示信息。最后播出的声音是由MIDI设备根据这些信息产生的。 MIDI声音可以用于配音，它的缺点是对回放设备的依赖太强，还有就是不能记录人声； 常见音频格式：