1、多媒体技术基础,第一章 绪论 第二章 媒体与媒体技术 第三章 多媒体数据压缩技术 第四章 多媒体硬件基础 第五章 多媒体软件平台 第六章 多媒体编程技术 第七章 多媒体通信网络技术 第八章 多媒体信息管理技术 第九章 多模态人机交互技术 第十章 分布式多媒体处理技术 第十一章 多媒体应用,第一章 绪论,本章内容 多媒体的含义；（重点） 多媒体技术的主要特征； 多媒体技术的产生和发展； 多媒体技术的应用； 多媒体技术研究的主要内容。（重点）,1.1多媒体的基本概念,一、多媒体和多媒体技术的含义（理解）媒体在计算机领域有两种含义： 一是指存储信息的实体，如磁盘等，中文常译为煤质；二是指传递信息的载
2、体，如数字、文字、声音、图形、图像等，中文常译为媒介。多媒体技术中的媒体指后者。,通常，媒体被分为以下五种类型感觉媒体：指直接作用于人们的感觉器官，从而能使人产生直接感觉的媒体。如：语言、音乐、自然界的各种声音、各种图形、动画或文本等。表示媒体：指为了传送感觉媒体而人为研究出来的媒体。借助这种媒体能更有效的存储感觉媒体或将感觉媒体从一个地方传送到遥远的另一个地方。如语言编码、电报码、条形码等。,显示媒体：指用于通信中使电信号和感觉媒体之间产生转换的媒体，如：输入输出设备、键盘、鼠标器、显示器、打印机等。存储媒体：指用于存放某种媒体的媒体，如纸张、磁盘、光盘等。传输媒体：指用于传输某种媒体的媒体
3、。如电话线、电缆、光纤等。多媒体就是多种媒体的综合？,多媒体是指能够同时获取、处理、编辑、存储和展示两种以上不同信息媒体的技术，这些信息包括文字、声音、图形、图像、动画与视频等。从这个意义中可以看到，我们常说的多媒体最终归结为一种技术。不是指媒体本身，而主要是指处理和应用它的一整套技术。因此，多媒体实际上常被当作多媒体技术的同一语。,多媒体技术的定义：计算机综合处理文本、图形、图象、音频与视频等多种媒体信息，使多种信息建立逻辑连接，集成为一个系统并且具有交互性。,二、多媒体技术的特性（了解） 多媒体技术的特性主要包括信息载体的多样化、集成性和交互性三个方面，这是多媒体的主要特征。此外还有非循序
4、性、非纸张输出等。,信息载体的多样化信息载体的多样化是相对于计算机而言的，指的就是信息媒体的多样化。把计算机所能处理的信息空间范围扩展和放大，而不再局限于数值、文本或特定的图形或图像,多媒体的集成性多媒体的集成性应该说是在系统级的一次飞跃。早期多媒体中的各项技术都可单一使用，但很难有大的作为，因为他们是单一、零散的。多媒体的集成性主要表现在两个方面，几多媒体信息媒体的集成和处理这些媒体的设备的集成。,多媒体的交互性多媒体的交互性将向用户提供更加有效的控制和使用信息的手段，同时也为应用开辟了更加广阔的领域。,总之，多媒体最显著的特点是具有媒体的多样性、集成性和交互性。从这个角度就可判断什么是多媒
5、体。如电视等不具备交互性所以不是多媒体。,1.2多媒体技术的产生与发展,计算机中信息的表达最初只能用二进制数0、1表示，它的目的纯粹为了计算。后来引入ASCII码等，计算机的功能才逐渐增强。起源于20世纪80年代初期90年代得到了迅猛的发展,1.3多媒体技术的应用,多媒体技术的应用极为广泛。教育与培训、办公自动化、电子出版、影视创作、旅游与地图、家庭应用、商业、新闻出版、电视会议、广告宣传等,1.4 多媒体技术研究的内容,多媒体的研究一般分为两个主要的方面一是多媒体技术，主要关心基本技术层面的内容；二是多媒体系统，主要重心在多媒体系统的构成与实现。还有专门研究多媒体创作与表现的，则更多的属于艺
6、术的范畴。我们这门课主要强调第一点。,一、多媒体技术的基础媒体是传播信息的载体，需要研究媒体的性质与相应的处理方法，对于每种媒体的采集、存储、传输和处理就是多媒体技术的首要工作。多媒体的另一个技术基础是数据压缩。基于时间的媒体，特别是高质量的视频数据媒体，其数据量非常大，不压缩难以在计算机上实现。本书的第2章第3章分别介绍媒体的基本特性和多媒体数据压缩编码的基本方法,二、多媒体硬件平台技术大容量的光盘，声音卡，图形显示卡等。计算机CPU也加入了多媒体与通信的指令体系，扫描仪、彩色打印机、数码相机等。第4章将介绍多媒体的基本硬件设备。,三、多媒体软件技术操作系统：基于时间媒体的处理就是最关键的环
7、节。对连续性的媒体来说，多媒体操作系统必须支持时间上的实现要求等，支持系统资源的合理分配等。多媒体的素材采集和制作技术多媒体创作工具或编辑软件第5章和第6章将介绍多媒体软件技术和多媒体编程技术。,四、多媒体信息管理技术信息机数据管理式信息系统的核心问题之一。第8章将介绍多媒体软件技术和多媒体编程技术。 五、多媒体界面设计与人-机交互技术第9章介绍多媒体界面设计和人机交互技术 六、多媒体通信与分布应用技术第7章、第10章和第11章介绍,第二章 媒体与媒体技术,本章内容 媒体的种类及特点（重点） 视觉媒体技术（重点） 听觉媒体技术（重点） 触觉媒体技术,2.1媒体的种类和特点,一、媒体的种类媒体有
8、感觉媒体、表示媒体、显示媒体、存储媒体、传输媒体。在多媒体技术中研究的媒体主要指的是表示媒体。（指为了传送感觉媒体而人为研究出来的媒体。借助这种媒体能更有效的存储感觉媒体或将感觉媒体从一个地方传送到遥远的另一个地方。 ）,主要的表示媒体有以下三种：视觉类媒体听觉类媒体触觉类媒体,1、视觉类媒体 (1)位图图像（bitmap） (2)图形（graphics） (3)符号（也包括文字和文本）由于符号是人类创造出来表示某种含义的，所以它与使用者的知识有关，是比图形更高级的抽象 (4)视频(video） (5)动画（animation） (6)其他（如用图形表示的某种数据曲线）,2、听觉类媒体 (1)
9、波形声音（wave）自然界的所有声音的拷贝，是声音数字化的基础。 (2)语音（voice）也表现为波形声音，有内在的含义。 (3)音乐（music）更规范，是符号化的声音。,3、触觉类媒体 (1)指点 (2)位置跟踪（为了与系统交互，系统必须了解参与者的身体动作，包括头、眼、手、肢体等部位的位置与运动方向。） (3)力反馈与运动反馈（这与跟踪正好相反，是系统向参与者反馈的运动及力的信息，）,二、媒体的性质和特点 1、各种媒体具有不同的性质和特点从信息表达考虑，媒体数据具有以下四个性质： (1)媒体是有格式的（按格式解释才有确定的含义） (2)不同的媒体表达信息的特点和程度不同（越接近原始媒体，
10、信息量越大；越是抽象，信息量越小但越精确） (3)媒体之间可以相互转换（但可能丢失部分原始信息，或增加一些伪信息） (4)媒体之间的关系也具有丰富的信息,2、媒体具有空间性质 两种解释：第一种空间意义是指表现空间，尤其是指显示空间的安排，其中包括每种可视媒体在显示器上的显示位置，显示形式，先后关系等。对于声音媒体则安排在听觉空间中表现，并确定与那些可视媒体同步。第二种空间意义是把环境中各种表达信息的媒体按相互的空间关系进行组织，全面整体的反映信息的空间结构，而不仅仅是零散的信息片断。这种空间实际上是由系统通过显示器和其他设备给出一个观察世界的窗口。且将环境的媒体信息进行空间组织，反映出媒体信息
11、的空间结构。,3、媒体的时间性质 两种含义，一是表现所需的时间，这是所有媒体都需要的。对于图像、文字等静态媒体来说，它至少需要一定的表现时间，接收者也需要一定的接收时间去接收理解他。对于声音来说没有时间也就没有声音。声音总是完全依赖于时间的变化。二是时间关系，与媒体的空间关系一样，媒体的时间也可包含媒体在时间坐标上的相互关系。还有同步、实时等许多方面。,4、媒体的语义 在获得媒体的语义的过程中，抽象起着十分重要的作用。这种抽象是复杂的，而且与任务有关，通常包含若干抽象层，每个抽象层都包含与具体的任务和问题与相关的模型。从接近具体感官的信息表示层到接近符号的信息表示层，信息的抽象程度递增，而数据
12、量则递减。语义就是在从感官数据到符号数据的抽象过程中逐步形成的。例如：对文本来说，文本的语义关键是人对语言的理解。,5、媒体结合的影响 多媒体的作用很大程度上是媒体之间结合产生的影响。虚拟空间。 从信息理解的角度来讲，多媒体的结合是有利于信息接收和理解的。例如： 理解 视觉 听觉 触觉83% 11% 3% 记忆驻留 2小时后 72小时后 谈话方式 70% 10% 观看方式 72% 20 结合 85% 65%,2.2听觉媒体技术,一、声音的性质 可听声也叫音频（20HZ20KHZ） （1）随时间变化的连续媒体也称连续性时基类媒体。 （2）声音有三个要素，音调、音强和音色。音调与声波的频率有关，频
13、率高则音调高；音强又称响度，与声波的振幅成正比；音色与波形的形状有关，它是由混入基因的泛音所决定的,（3）声音具有连续谱特性 在一定时间内，声音信号可以分成周期信号和非周期信号两类，离散谱和连续谱。 （4）声音有方向感 声音是以声波的形式进行传播的，由于人能够判别出声音到达左右耳的时差和强度，所以可以判别声音的来源方向。 （5）音色与失真特性 不同的人和不同的乐器在发出相同的基频和音高的声音时听者对他的感觉并不完全相同，即音色不同，其原因是组成这些声音的其他频率分量大小不同。,二、数字音频的主要技术参数 分为：波形声音、语音和音乐三种波形声音：包含所有的声音形式，相应的文件格式是WAV或VOC
14、。语音：也是一种波形。音乐：是符号化的声音，格式是MID,MP3或CMF文件。音频信息增强了人们对其他媒体所表达的信息的理解。,通常，声音用一种模拟的连续波形表示。波形描述了空气的振动，波形的最高点与基线间的距离为振幅，波形中两个连续波峰间的距离称为周期，波形频率由1秒内出现的周期数决定，若每秒1000个周期，则频率为1kHz。通过采样可将声音的模拟信号数字化，采样值可重新生成原始波形。,计算机音频技术主要包括声音的采集，数字化，压缩/解压缩以及声音的播放。影响数字声音波形质量的主要因素有三个： （1）采样频率。波形被等分的份数，份数越多，质量越好。 （2）采样精度。8位A/D转换器，可把采样
15、信号分为256等份，16位A/D转换器，则可分为65536份。 （3）通道数。单声道、立体声。,三、音频的数字化与再现 对音频信号的处理，首先应考虑他对时序性要求很高。其次最好是立体声最后，语音还带有情感和意愿。音频处理应考虑以下三点： （1）人与计算机通信，也就是计算机接收音频信号，包括饮品获取、语音的识别和理解。 （2）计算机与人通信，也就是计算机输出音频，包括音乐合成、语音合成、声音的定位以及音频视频的同步。,（3）人-计算机-人通信，也就是人通过网络与异地的人通信，相关的音频处理有语音采集、音频的编码和解码、音频的存储、音频的传输等。,在计算机中声音信号是用一系列的数字表示的，称为数字
16、音频。声音在时间和幅度上是连续的；而数字表示声音是一个数据序列，在时间上是断续的。把模拟声音变成数字声音时，需要每隔一个时间间隔在模拟声音波形上取一个幅度值，称为采样，这个时间间隔称为采样周期。某一幅度内的电压用一个数字表示，称为量化。把声音数据写成计算机的数据格式成为编码。,输出声音时，将离散的数字转变成连续的波形，只要采样频率足够高恢复出来的声音就与原始声音没有什么差别。标准的采样频率有11.025kHz，22.05kHz，44.1kHz。每个采样点的比特数量就是采样点的测量的精度。一般有8位和16位两种双声道（立体声）。声音的数据量=（采样频率*每个采样为数*声道数）/8 （B/s）,四
17、、声音的符号化对声音的抽象化（即符号化）表示包括两种类型，一种是音乐、一种是语音。音乐可以完全符号化。语音与文字其实是一一对应的，波形声音也可表现和记录语音，他是否是语音取决于听者的理解。对语音的符号化表示实际上就是对语音的识别，将语音转变为字符。反之，就是将文字合成为语音。,五、数字音乐国际标准MIDI和MP31、电子乐器数字接口：MIDI MIDI音频与波形音频完全不同，他不对声波进行采样、量化与编码，而是将电子乐器键盘的演奏信息（包括键名、力度、时间长度等）记录下来。这些信息称为MIDI消息，是乐谱的一种数字式描述。对应与一段音乐的MIDI文件不记录人和声音信息，而只是包含一系列产生音乐
18、的MIDI消息。播放时只需从中读出MIDI消息，产生所需的声音波形，经放大处理即可。,半小时的立体声16位高品质音乐，不压缩需300M；若用MIDI只需200k。对MIDI的编辑也很灵活，用户可以自由的改变音调、音色等属性，直到找到自己想要的效果。1988年MIDI制造商协会正式颁布MIDI技术规范，作为数字式音乐的国际标准。规定每种MIDI装置由一个接收器和一个发送器组成。规定MIDI键盘为128键。在MIDI接收器中有16个通道，它可以向声音合成器传送16路不同的声音等。,2、MP3数码音乐 MP3的全称是MPEG-1 Layer3音频文件 压缩比是：10：112：1 一分钟的CD音质音乐
19、，未经压缩需要10M的存储空间，压缩后只需1M左右。,2.3 视觉媒体技术,计算机的图形、图像均为视觉媒体 表示方式：位图表示、矢量表示、曲线表示（动态图像）、符号表示 一、图形、图像文件格式DIB、BMP、PCX、TIFF等,二、位图,又称点阵图，是一种写实的手法。 能够忠实地记录图像中每一个象素的颜色和位置三、矢量图,四、矢量图与位图的比较,1、概念上： 矢量图（图形）一般指计算机绘制的画面，如直线、圆、圆弧、任意曲线和图表等 图像是指由输入设备捕捉的实际场景画面或以数字化形式存储的任意画面。,2、存储容量大小图像是由一些排成行列的像素组成的，在计算机中的存储格式有BMP、TIF、GIFD
20、等。一般数据量比较大。除了可以表达真实的相片，也可以表现复杂绘画的某些细节，具有灵活和富于创造力等特点。在打印输出和放大时，容易发生失真。,图形也称矢量图文件中只记录生成图的算法和图上的某些特征点，容易进行移动、缩放、旋转和扭曲等变换，主要用于表示线框型的图画、工程制图、美术字等。常用的矢量图文件有3DS（用于3D造型）、DXF（用于CAD）、WMF（用于桌面出版）等。图形只保存算法和特征点，相对于位图的大数据量来说，它占用的存储空间也比较小。但是显示速度没有图像快，打印输出和放大时，质量较高不会发生很大失真。,五、监视器与颜色,监视器的分辨率分类：屏幕分辨率图像分辨率像素分辨率,2.4 动画
21、（animation）,定义：指运动的画面。利用快速变换帧的内容达到运动的效果。制作工具：animation、Flash、 3D max等,视觉暂留,计算机动画设计主要是为了能够生成和处理一连串的静态画面，并通过高速放映来欺骗人的眼睛，使人们相信屏幕上的画面是动态的。,计算机实现动画的两种方法,造型动画：对每一个活动的对象分别进行设计，并构造每一对象的特征，然后用这些对象组成完整的画面，进行实时转换，形成动画。,帧动画,是由一幅幅连续的画面组成的画像或图形序列,动画和视频,是连续渐变的静态图像或图形序列，沿时间轴顺次更换显示，从而构成运动视觉的媒体。 动画：序列中每帧图像是人工或计算机产生的图
22、像。 视频：序列中每帧图像是通过实时摄取自然景象或活动对象。,动画技术参数,帧速度数据量图象质量,2.5 超文本和超媒体,定义： 超文本：由信息结点和表示结点间相关性的链构成的一个具有一定逻辑结构和语义的网络。超媒体：多媒体超文本,超文本主要成分：结点和表示结点间关系的链 超文本系统的三层模型：数据库层超文本抽象机层用户接口层,2.6 数据压缩,多媒体冗余信息：空域相关时域相关视觉掩盖效应,数字压缩技术三个重要指标,1、信息存储量之比 大 2、压缩的算法 简单 3、恢复效果 好,基本原理,压缩编码：冗余压缩法（无损压缩法或熵编码）有损压缩法（熵压缩法）,（一）变长编码,1、Huffman编码定
23、义：对统计独立信源达到最小平均码长的编码方法 ，具有惟一可译性。基本原理：按信源符号出现的概率大小进行排序，出现概率大的分配短码，出现概率小的则分配长码。,编码过程,（1）将信源符号按概率递减顺序排列；（2）把两个最小的概率加起来，作为新符号的概率；（3）重复（1）和（2），直到概率和达到1为止；（4）在每次合并消息时，将被合并的消息赋予1和0或0和1；（5）寻找从每一信源符号到概率为1的路径，记录下路径上的1和0（6）对每一符号写出从码树的根到终结点1、0序列,2、算术编码定义：是一种二元码的编码方法，在不考虑信源统计的情况下，只要监视一小段时间内码出现的频率，不管统计是平稳的或非平稳的，编
24、码的码率总能趋近于信源熵值，每次迭代时的编码算法只处理一个数据符号，并且只有算术运算。,原理：也是一种统计编码，每个符号对应0到1上的一段子区间，区间长度为该符号出现的概率。该方法将被编码的符号串（数值串）表示成实数0到1之间的一个区间。初始把它设为整个区间。当出现一个新的待编码符号，先把完整的0到1区间映射到上一次形成的区间，然后新区间取为0到1上的新符号对应区间所映成的像。解码时，根据区间的覆盖性来逐一解出原符号串。,预测编码： 根据某一数据模型利用以往的样本值对新样本值进行预测，然后将样本实际值与预测值的差值进行编码。如果模型足够好，且样本序列的时间相关性较强，那么误差信号的幅度将远小于
25、原始信号，可以用较少的值对其差值量化，得到较好的压缩效果。预测编码常用的是差分脉冲编码调制（DPCM）和自适应的差分脉冲编码调制（ADPCM）。,变换编码： 是将通常在空间域描写的图像信号，变换到另外一些正交矢量空间（即变换域）中进行描写，而且通过选择合适的变换关系使变换域中描写的各信号分量之间相关性很小或者互不相关，从而达到数据压缩的目的。,模型编码： 是指采用模型的方法对传输的图像进行参数估测。典型的有分形编码。,2.7 音频信号的压缩编码,一、音频信号编码基础 音频冗余主要表现为：时域冗余度频域冗余度,音频信号的编码方式：,（1）波形编码，如PCM、APC、ATC等 （2）分析合成方法（
26、参数编码方法）如PLC （3）混合编码方法,2.8 视频信号的压缩编码,一、视频信号的压缩编码分类 无损压缩：利用数据的统计特性来进行数据压缩，典型的编码:Huffman编码、算术编码等。 不失真 压缩比低 有损压缩：利用人的视觉特性使解压缩后的图像看起来与原始图像一样。 压缩比高 如：预测编码、变换编码、模型编码及混合编码等。,二、视频信号压缩编码的标准,JPEG静止图像压缩算法MPEG运动图像压缩算法,视频压缩方式（补充）：,Micosoft Video1:使用8位有损压缩方法压缩模拟视频。它压缩后的动画尺寸大，而且在进行渐变色处理时会出现条纹。,INDEO :是专门处理局部动态影像和色彩
27、、画质细腻的静态图像的压缩编码技术，压缩比低，且需要较高速的CPU才能确保播放品质。处理渐变色和火焰效果时会有严重的马赛克。,Radius Cinepak:这种有损压缩方法最初用于压缩24位视频，从而在CD-ROM驱动器上播放，图像质量好，播放速度快，能压缩成黑白动画。它的特点是压缩后尺寸小，渐变色外理时不会出现条玟和马赛克，压缩后火焰效果也不会出现马赛克。但如果使用贴图背景，背景会比较粗糙。,Full Frames:在将动画信息以数据流形式存储时，这种方法质量高并得到普便使用。这种方法形成的AVI文件需要大量的硬盘空间，但可为动画提供高质量的单个连续文件。因为它适合于很多机器类型并与桌面视频
28、应用程序兼容，对交互式多媒体产品，是十分有效的。,JPEG和MPEG的差别,MPEG视频压缩技术是针对运动图像的数据压缩技术。为了提高压缩比，帧内图像数据和帧间图像数据压缩技术必须同时使用。 MPEG通过帧运动补偿有效地压缩了数据的比特数，它采用了三种图像，帧内图、预测图和双向预测图。有效地减少了冗余信息。对于MPEG来说，帧间数据压缩、运动补偿和双向预测，这是和JPEG主要不同的地方。而JPEG和MPEG相同的地方均采用了DCT帧内图像数据压缩编码。,另外，MPEG中视频信号包含有静止画面（帧内图）和运动信息（帧间预测图）等不同的内容，量化器的设计比JPEG压缩算法中量化器的设计考虑的因素要
29、多。,关于压缩比,衡量一个压缩算法好坏的标准，除了解压后的数据有无失真或失真程度之外，是看压缩比的大小。压缩比常用的定义有两种： （1） 采样压缩比 （2） 比特压缩比,数字视频的制式,PAL制式 NTSC制式,影响数字视频质量的因素,（1）帧速 （2）分辨率 （3）颜色数 （4）压缩比 （5）关键帧,三、多媒体制作,一、多媒体应用系统开发的一般步骤 （1）确定开发对象 （2）明确开发方法 （3）准备多媒体数据 （4）集成一个多媒体系统,二、多媒体数据制作概念,根据多媒体应用系统的需要，制作数字音频、数字图像、动画等文件，完成应用系统的多媒体数据准备工作。,3.1 数字音频的制作,一、数字音频
30、的制作过程 1、音频概述 声波的表示方法,2、数字音频的录制准备步骤 （1）选择音源 重要因素：音频的质量,（2）录制数字音频 A、设置音频硬件配置 B、选择采样率和量化位数 C、设置音轨的音源和输出端口 D、检测输入音频的强度,（3）音频的编辑和存储 （4）音频的播放（硬件需求）,3、产生失真的原因及解决方法,原因： （1）信号频带宽，但采样频率不够高，数字音频信号发生混叠； （2）模拟音频信号幅度太大，超过了量化器范围。,解决方法： 前者：选择与信号相匹配的采样频率 后者：可以调整音源的输出幅度或调节采集卡输入放大器的增益，也可选用音频卡的line输入端，而不用microphone输入端。
31、,4、利用Audio Editor实现音频制作,（1）简介 （2）数字音频的录制 （3）音频特效制作,5、MIDI音乐的制作,（1）MIDI标准 （2）MIDI Mapper标准 （3）Cakewalk编辑MIDI,6、数字视频的获取,数字视频信息获取与处理过程主要有采样、A/D变换、压缩、存储、解压缩、D/A变换。,7、利用Adobe Premiere实现视频使用,8、3D Studio Max动画制作,补充：数字图象的制作,用数码相机摄取，利用图象处理软件进行处理,四、多媒体开发环境和工具,一、多媒体创作系统 1、概念多媒体创作系统提供一种把内容和功能结合在一起的集成环境。,2、功能,（1
32、）、视频图象的制作 （2）、动画制作 （3）、交互式演示系统 （4）、展示系统,（5）、交互式查询系统 （6）、交互式的训练 （7）、仿真、厚型和技术的可视化,3、系统组成,素材库 编辑 播放,二、多媒体开发工具的类型与功能,1、类型（1）基于时间的创作工具（2）基于图标或流线的创作工具（3）基于卡片或页面的工具（4）以传统程序语言为基础的多媒体创作工具,2、功能,（1）优异的面向对象的编程环境 （2）具有较强的多媒体数据I/O能力 （3）动画处理能力 （4）超级连接能力,（5）应用程序的连接能力 （6）模块化和面向对象 （7）友好的界面、易学易用,3、多媒体开发工具的特征,（1）编辑特征 （
33、2）组织特征 （3）编程特征 （4）交互式特征 （5）性能精确特征 （6）播放特征 （7）提交特征,4、跨平台工具,多媒体开发的基本软件的特点,5、与多媒体创作工具相关的几个概念,（1）创作环境 （2）创作系统 （3）创作工具 （4）集成工具,（五）多媒体应用系统的特点,一、多媒体应用系统的特点 （1）增加计算机的友好性 （2）涉及技术领域广、技术层次高 （3）多媒体技术的标准化 （4）多媒体技术的集成化和工具化,二、应用系统开发组 三、应用系统开发的各阶段及其主要内容,从软件工程的角度分四阶段： （1）计划制定与成本估算 （2）设计与制作 （3）测试 （4）提交,各阶段的主要任务,1、计划和
34、成本估算软件计划成本估算,2、设计与制作,程序设计方法软件界面设计,3、测试,测试方法软件测试策略测试的复审排错技术,4、提交,软件质量度量模型软件质量评价过程模型软件具体评价软件维护,多媒体软件开发过程的理解,问题定义 可行性研究 需求分析 总体设计 详细设计 编码 测试 运行和维护,五、多媒体卡,一、音频卡 音频卡的主要功能： 1、录制与播放 2、编辑与合成,3、MIDI接口和音乐合成 4、文语转换和语音识别 5、CD-ROM接口 6、游戏棒接口,音频卡的分类音频卡的工作原理（了解）主要组成部分：1、声音的合成与处理2、混合信号处理器及功率放大器3、计算机总线接口和控制器,音频卡的选择,根
35、据处理的语音任务选择合乎需求的设备重要因素：三种WINDOWS声音 选择音频卡的最重要原则符合MPC标准要求的卡，与MPC公布的标准相兼容的音频卡必须能记录和播放频率达22.05khz的音频,选择音频卡时应当注意下述几项指标： 1、与Adlib和sound Blaster兼容能力 2、支持16位采样带宽 3、具备混音和合成能力 4、采样频率最高能支持44.1khz,音频卡的基本技术指标,1、采样频率 单位时间内的采样次数 2、采样值的量化位数 3、声道数 4、合成器 5、MIDI接口 6、I/O设备支持 7、即插即用 8、兼容性,音频卡的安装,硬件安装软件安装 搜索到新硬件，按系统的提示，一步
36、步执行相应的操作即可。测试,二、视频卡,1、视频采集是指将视频信号数字化并记录到文件上的过程。在记录时，视频变成了一系列的图象或者帧，以一定格式存到磁盘上。采集视频的同时可以录制声音。,2、数字视频,数字视频与模拟信号相比的优点： A、不失真地进行无限次拷贝 B、用新的与众不同的方法对视频进行创造性编辑 C、用计算机播放电影节目等 D、将视频融进计算机化环境中 E、用较少的时间和劳动就能创作出精致的高水平的交互产品,模拟信号的优点：易于存储缺点：连续变化的，误差不能避免，而且经过多次复制，误差产生积累 数字信号：不是连续变化的，还原性好。,视频卡的安装过程,硬件安装 ：插入视频卡、连线 配置：
37、帧缓冲区内存的基地址、DMA通道、I/O端口地址、IRQ号、视频标准软件安装 驱动程序和相应的应用软件,提高MPC系统的性能方法：,1、提高处理器性能 2、视频子系统系统包括显示卡和显示器，提高显示子系统性能 3、提高音频子系统性能 4、提高数据传送速率,DMA : Directory Memory Access IRQ : Interrupt Request I/O : 输入输出端口 0003FF,DMA通道号、IRQ号和I/O端口号声卡的安装往往要涉及到DMA通道号、IRQ号和I/O端口号等的设置，一般的硬件插卡基本上都有三个参数。在同一时刻同一个DMA通道号、IRQ号和I/O端口号只能分配给一个设备使用，这是IRQ、DMA、I/O端口地址的分配原则，违反它就会发生冲突，而冲突的后果可能是很严重的： IRQ冲突可能经常引起系统崩溃；DMA冲突则会引起冲突一方设备不能正常工作；I/O端口冲突也如此,三、视霸卡（了解） 四、MPEG卡,主要特点及系统要求,六、光盘与光驱,1、CD-ROM的特点 A、标准化 B、存储容量大 C、只读属性 D、播放CD音乐 E、交叉平台兼容性 F、快速的检索方法 G、不易破坏 H、价格低廉,2、CD-ROM的支持标准 3、计算机接口 A、SCSI接口 B、专用接口 C、IDE接口 D、AT接口 4、数据传输速率 单倍速、双倍速、三倍速、四倍速,
