第13讲 视频处理技术.ppt

1、第13讲 视频处理技术,动画是活动的画面，实质是一幅幅静态图像的连续播放。动画的连续播放既指时间上的连续，也指图像内容上的连续。,帧动画是由一幅幅位图组成的连续的画面，就如电影胶片或视频画面一样要分别设计每屏幕显示的画面。 造型动画是对每一个运动的物体分别进行设计，赋予每个动元一些特征，然后用这些动元构成完整的帧画面。动元的表演和行为是由制作表组成的脚本来控制。,基础知识,视频是一组活动图像，当画面快速连续地播放时，由于人眼存在 “视觉滞留效应” 而产生动感；并伴随有同步的声音。,电视信号为25帧/s的（PAL制）或30帧/s（NTSC）。 电影播放为24帧/s。为消除闪烁，电影放映过程中有一

2、个不透明的遮挡每秒遮挡24次，刷新率是48次/秒，既有效消除了闪烁，又节省了一半胶片。,基础知识,内容随时间而变化 伴音必须与画面动作同步 压缩的视频信息实时性强，承载数据量大，对计算机处理能力要求高,以模拟电信号的形式记录 依靠模拟调幅的手段在空间或通过线缆传播 使用盒式磁带录像机将视频存放在磁带上 图像随时间和频道的衰减很大，不适合网络传输,数字化的文件形式记录 通过网络传输 存放在磁盘、光盘等数字化存储器上 增加交互性,清晰度高 再现性好：多次复制不会失真，抗干扰能力强 索引方便 适合网络应用：通过网络长距离传输不会产生不良影响 便于加密处理 便于计算机编辑处理：进行创造性地编辑与合成，

3、动态交互 便于存储和交换 数据量大，需要进行加缩,广播电视： 地面、卫星电视广播 有线电视(CATV) 数字视频广播(Digital Video Broadcast) 交互式电视(ITV) 高清晰电视(HDTV),通信： 可视电话(Videophone) 视频会议(Videoconferencing) 视频点播(Video On DemandVOD) 视频数据库,个人娱乐： 录像节目 VCD DVD 电视购物 家庭摄像 游戏,电视信号及其标准,电视信号的标准称为电视的制式，目前有PAL、NTSC和SECAM三种制式，主要区别在于刷新速度、颜色编码系统、传送频率等。 不同制式的电视机只能接收和处

4、理其对应制式的电视信号。,电视信号及其标准,电信号是一维的，而视频图像是二维的，把二维的视频图像转换为一维电信号是通过光栅扫描实现的。电视摄像机的作用就是将视频图像转换为电信号。,电视信号及其标准,隔行扫描：每一帧由两次扫描完成，奇数场和偶数场。,逐行扫描：每一帧由一次扫描完成。,电视信号及其标准,Y表示光源的亮度 U和V表示色差的两个分量，红色分量和蓝色分量 优点是将亮度信号与色差信号分离。人眼对亮度的敏感大于色度，可以通过损失色度信息达到节省存储空间的目的,PAL彩色电视制式中采用YUV模型来表示彩色图像,电视信号及其标准,显示器采用RGB模型，因此需要把YUV彩色分量值转换成RGB值。

5、RGB和YUV的对应关系近似地表示为： Y=0.299R+0.587G+0.114B U=-0.169R-0.331G+0.5B V=0.500R-0.419G-0.081B,视频的数字化过程,视频数字化是将模拟视频信号经过模数转换和彩色空间变换，并经编码使其变成计算机可处理的数字信号。,视频图像既是空间的函数，也是时间的函数，所以其采样方式比静态图像的采样复杂的多。,用Y:U:V表示的数字视频的采样格式有4:1:1、4:2:2和4:4:4。ITU-R标准建议使用4:2:2结构。,视频的数字化过程,要满足奈奎斯特采样定理。 采样频率必须是行频的整数倍，这样可以保证每行有整数个取样点，同时要使得

6、每行取样点数目一样多，便于数据处理。 要满足两种扫描制式。,ITU（国际电信联盟）建议的分量编码标准的亮度采样频率为13.5MHz，色度信号为6.75MHz。,视频的数字化过程,场频：屏幕刷新频率，又称垂直扫描频率，场频越高，闪烁越不明显，规定85Hz逐行扫描为无闪烁的标准，现在有100Hz。PAL制为50Hz，NTSC制为59.94005994Hz。,行频：水平扫描频率，即电子枪每秒在屏幕上扫描过的水平线数量，行频=垂直分辨率场频。PAL制：625行50Hz/2 （隔行扫描） =15625Hz,带宽：每秒电子枪扫描过的总像素数。 带宽=水平分辨率垂直分辨率场频PAL制：亮度带宽为6MHz，色

7、度带宽为亮度的一半,视频的数字化过程,采样得到的是隔行样本点，要把隔行样本组合成逐行样本，然后进行样本点的量化，再将YUV转换到RGB色彩空间，才能得到数字视频数据。 采样是把模拟信号变成了时间上离散的脉冲信号，量化则是进行幅度上的离散化处理。 量化位数越多，层次就分得愈细，但数据量也成倍上升。 量化的过程是不可逆的，这是因为量化本身给信号带来的损伤是不可弥补的。 一般现在的视频信号均采用8比特、10比特，在信号质量要求较高的情况下采用12比特量化。,视频的数字化过程,未经压缩的数据量（采用8位量化）：采样格式(Y:U:V) 数据量(MB/s)4:2:2 274:4:4 40.5,视频的数字化

8、过程,采样、量化后的信号转换成数字符号才能进行传输，这一过程称为编码。信息压缩编码就是从时间域、空间域两方面去除冗余信息，将可推知的确定信息去掉。 视频编码技术主要包括MPEG与H.26x标准，编码技术主要分成帧内编码(信源编码)和帧间编码(信道编码)。前者用于去掉图像的空间冗余信息，后者用于去除图像的时间冗余信息。,视频的数字化过程,运动图像压缩标准。主要有MPEG-1、MPEG-2、MPEG-4及正在制定的MPEG-7等标准。,MPEG-1：1992年推出，VCD基础，352288有限分辨率，面向家庭电视质量级的视频、音频压缩标准。 MPEG-2：1995年推出，针对HDTV、DVD，72

9、0576分辨率，5.1声道，面向演播级的视频音频压缩标准。MPEG-2的最大特点在于交互性，现在还没有好好利用起来。,视频的数字化过程,MPEG-4：又称DivX，1999年推出。特点： 基于内容的交互性，而MPEG-1/2则基于帧 高效的压缩比：压缩比更高，播放质量更好 通用的访问性：充分考虑各种网络（有线网络、无线网络、存储介质）的特殊性，支持对多媒体信息的通用存取。,视频的数字化过程,MPEG-4的应用： 因特网多媒体应用，如多媒体邮件等 交互式视频游戏 实时可视通信：可视电话、会议电视等 交互式存储媒体应用 移动通信条件下的多媒体应用 远程视频监控,视频的数字化过程,H.261：支持实

10、时动态图像的压缩编/解码标准，应用于可视电话和电视会议，最低传输速度是64kb/s。 H.263：面向低速信道，低于64kb/s，目的是能在现有的电话网上传输活动图像。 H.264：视讯会议系统规约标准。影像压缩技术是H.263的两倍，质量优于H.263，接近MPEG-4，对带宽要求低。,微软公司提出（Audio Video Interleave），运动图像和伴音数据是以交织的方式存储，并独立于硬件设备, 在读取视频数据流时能更有效地从存储媒介得到连续的信息。 AVI可以在任何Windows环境下工作，用户可以开发自己的AVI视频文件格式，在Windows环境下随时调用，具有扩展功能。 一般采

11、用帧内有损压缩，视频编辑软件如Adobe Premiere可以进行再编辑和处理。,扩展名为.asf和.wmv。 ASF的最大优点是体积小，适合网络传输。 WMV文件包括Windows Media音频（WMA）和Windows Media 视频（WMV）。,Apple公司推出的视频格式 ，即 Movie digital video 的文件格式，相应的视频应用软件为 Apples QuickTime for Macintosh。 Apple公司也推出了适用于PC机的视频应用软件Apples QuickTime for Windows，因此在PC机上也可以播放MOV视频文件。 MOV格式的视频文件可

12、以采用不压缩或压缩的方式,压缩视频文件，同步播放视频和音频，文件大小仅为AVI文件的六分之一。 MPEG-2压缩技术采用可变速率（VBR）技术，能够根据动态画面的复杂程度，适时改变数据传输率获得较好的编码效果，目前使用的DVD就是采用了这种技术。 MPEG压缩比高，图像和音频质量也非常好。MPEG标准包括MPEG视频、MPEG音频和MPEG系统 (视频、音频同步)三个部分，MP3音频文件就是MPEG音频的一个典型应用，而VCD、SVCD、DVD则是全面采用MPEG技术所产生出来的新型消费类电子产品。,RealNetworks公司制定的音视频压缩规范RealMedia，是Internet上的流媒

13、体技术，包括RealAudio、RealVideo及RealFlash。 流式视频格式，采用 “边传边播”的方法，即先从服务器上下载一部分视频文件，形成视频流缓冲区后实时播放，同时继续下载，为接下来的播放做好准备。这种方法避免了用户必须等待整个文件从Internet上全部下载完毕才能观看的缺点。,基于多媒体计算机的视频处理系统,在多媒体计算机系统中，视频处理一般是借助于一些相关的硬件和软件，在计算机上对输入的视频信号进行接收、采集、传输、压缩、存储、编辑、显示、回放等多种处理。 视频信号主要是指来自电视机、录/放像机、摄像机等视频设备的信号，也可以是来自影碟机的影视节目。,主要包括视频采集设备

14、、视频信号源设备、大容量存储设备、以及配置有相应视频处理软件的高性能计算机系统。 视频源设备：录像机、电视机、影碟机等； 视频采集卡：对模拟视频信号进行采集、量化和编码的设备； 高性能计算机：接收和记录编码后的数字视频数据。 大容量存储设备：存储经过编辑修改的数字视频文件。,基于多媒体计算机的视频处理系统,视频采集卡提供接口连接模拟视频设备和计算机，把模拟视频信号转换成数字信号。 视频采集卡一般具有多种视频接口，可接收来自摄像机、录像机、VCD机等多种视频信号，通过视频软件可选择所需的视频源。,基于多媒体计算机的视频处理系统,基于多媒体计算机的视频处理系统,基于多媒体计算机的视频处理系统,性能

15、指标： 接口：复合视频接口(Video in)，S-Video接口，电视天线接口，音频输入接口等 单工：只提供视频输入接口双工：提供视频输入/输出接口 实时压缩功能：视频序列获取的同时完成压缩，AVI、MPEG 采集分辨率及帧频：广播级视频采集卡PAL制 720576，25帧/秒，压缩比4:1 驱动和应用程序：编辑处理能力,非线性编辑系统,线性编辑是传统的声像编辑系统，以时间顺序记录，完成编辑过程费时费力，效率低。 非线性编辑是以计算机为平台完成视频编辑，编辑工作更加随心所欲并富有创造性。 编辑制作方便 有利于反复编辑和修改 图像与声音的同步对位准确方便 制作图像画面的层次多,非线性编辑系统,

16、视频素材的准备和搜集 视频采集和数字化：是关键的一环，直接影响到最终产品的品质，由视频采集压缩卡及相应的软件实现，主要是对视频信号进行动态捕捉、压缩和存储。 数字视频编辑：编辑软件对各种素材进行剪辑、重新编排和衔接，添加各种特效和特技，叠加字幕等 预视过程 生成影片 回放或录制,Adobe Premiere：应用最广泛的专业视频编辑软件 Adobe After Effects：是Premiere的自然延伸 Ulead MediaStudio Pro ：网页或教学、娱乐方面的一般应用 Ulead Video Studio（会声会影）：针对家庭娱乐、个人纪录片制作之用的简便型编辑视频软件,非线性编

17、辑系统,包括从捕获视频流、编辑视频、加入开始标题和结束时的片尾字幕、创建场景间切换、加入音乐声轨和特殊效果、并最终发布作品等一系列过程。 导入 编辑 音频处理 标题和过渡效果 输出 媒质管理,非线性编辑系统,制作组与分工,一个完整的多媒体项目开发组应该具有下列工作人员: 项目经理 多媒体设计师 写作专家 视频作家 音频作家 多媒体程序员,需求分析 应用系统结构设计(初步设计) 建立设计标准和细则(详细设计) 准备多媒体数据 制作生成多媒体应用系统(编码与集成) 系统的测试与应用,结构性原则 合理选择文本和图形 使用多窗口 使用彩色, 面向用户的原则反馈信息和屏幕输出应面向用户、指导用户，以满足

18、用户使用需求为目标。屏幕输出的信息是为了使用户获取运行结果，或者是获取系统当前状态，以及指导用户应如何进一步操作计算机系统。所以在满足用户需要的情况下，首先应使显示的信息量减到最小，绝不显示与用户需要无关的信息，以免增加用户的记忆负担。其次，反馈信息应能被用户正确阅读、理解和使用。第三，应使用用户所熟悉的术语来解释程序，帮助用户尽快适应和熟悉系统的环境。第四，系统内部在处理工作时要有提示信息，尽量把主动权让给用户。,一致性原则是指从任务、信息的表达，界面的控制操作等方面与用户理解熟悉的模式尽量保持一致。如显示相同类型信息时，在系统运行的不同阶段保持一致的相似方式显示，包括显示风格.布局、位置、

19、所用颜色等。一个界面与用户预想的表现、操作方式越一致，就越容易学习、记忆和使用。一致性不仅能减少人的学习负担，还可以通过提供熟悉的模式来增强认识能力，界面设计者的责任就是使界面尽可能地与用户原来的模式一致，若原来没有模型，就应给出一个新系统的清晰结构，并尽可能使用户容易适应。,简洁性原则界面的信息内容应该准确、简洁，并能给出强调的信息显示。准确，就是要求表达意思明确，不使用意义含混、有二义性的词汇或句子。简洁就是词汇是用户习惯的，并用尽可能少的文字表达必需的信息。必要时可以使用意义明确的缩写形式，需要强制的信息可以在显示中使用黑体字、加下划线、加大亮度、闪烁、反白及不同颜色来引起用户的注意。,

20、适当性原则屏幕显示和布局应美观、清楚、合理，改善反馈信息的可阅读性、可理解性，并使用户能快速查找到有用信息，为此要求：,显示逻辑顺序应合理。显示内容应恰当、不应过多、过快或使屏幕过分拥挤。 提供必要的空白。空行及空格会使结构合理，阅读和寻 找方便，并使用户的注意力集中在有用的信息上。 一般使用小写或混合大小写形式显示文本，避免用纯大 写字方式，因为小写方式的文本容易阅读。,顺序性原则合理安排信息在屏幕上显示顺序。一般有如下因素决定信息显示的顺序：,按照使用顺序显示信息 按照习惯用法顺序 按照信息重要性顺序 按照信息的使用频度 按照信息的一般性和专用性 按字母顺序或时间顺序显示,结构性原则界面设

21、计应是结构化的，以减少复杂度，结构化应与用户知识结构相兼容。,合理选择文本和图形对系统运行结果输出信息，如果重点是要对其值作详细分析或获取准确数据，那么应该使用字符、数字式显示；如果要了解数据总特性或变化趋势，那么使用图形方式更有效。,使用多窗口图形和多窗口显示，可以充分利用微机系统的软硬件资源，并在交互输出中大大改善人机界面的输出显示能力。,使用彩色合理使用彩色显示可以美化人机界面外观.改善人的视觉印象，同时加快有用信息的寻找速度，并减少错误。,正确选择色彩基调。 注意对比与和谐的关系。 尽量降低背景的饱和度，提高字体的清晰度。 不宜使用红.绿、红.蓝、绿.蓝和蓝.黄这些 组合颜色，因为它们

22、会使相邻的边界产生振荡 和余像。,教学进程,多媒体教学软件 多媒体电子出版物 多媒体数据库系统,多媒体计算机辅助教学(MCAI)，是指用计算机帮助教师进行教学或用计算机进行教学的广阔应用领域。由于MCAI是基于多媒体计算机技术的，从而使其呈现以下特点：教学信息显示的多媒体化。 教学内容组织的超文本结构形式。 教学过程的交互性。教学信息的大容量存储。 教学信息传输的网络化。, 多媒体教学的特点,多媒体教学之所以具有与传统方式教学无 法比拟的优点，其原因是它具有相应的丰富多彩 的教学软件，它有下列几种基本模式：课堂演示模式个别交互学习模式操练复习模式资料工具模式教学游戏模式,多媒体教学软件的模式,

23、多媒体计算机教学软件根据内容可分为以下几种类型：娱乐学习类自然科学类 语言类 多媒体结合声音、文字、图形及图像等来学习本国或外国语言。文学类 将文学名著转化为光盘片.增加图画、声音、影片等效果，可使小说更增趣味。历史类, 多媒体教学软件的分类,多媒体教学软件设计的原则,在多媒体教学系统中，多媒体教学软件是整个系统的核心和控制部分。多媒体教学系统所提供的教学信息，都是由多媒体教学软件给出的或是在多媒体教学软件的控制下给出的。多媒体教学系统设计中的很大一部分工作量，是用于多媒体教学软件的设计。多媒体教学软件的设计过程一般分为： 选题、教学对象分析、教学目标编写、制定课题计划、脚本撰写、程序设计、课

24、件评价和文档编写几个阶段。,多媒体教学软件设计的原则,多媒体电子图书,多媒体电子图书除了具有庞大的存储量外. 还可在其间添加不同形式的数据，如声音、照片 与影片等。查找传统的参考书籍是一项颇为累人 的事，现在用多媒体光盘来协助查寻既快速又准 确。多媒体电子图书主要包括以下几类：(1). 字典类(2). 百科全书类(3). 经典类(4). 参考书籍类,地图与旅游,多媒体节目可以以电影或记录片为基础，加上许多文字、动画、地图等资料，使观众能获得各地的风光、文物及习俗等完整的信息。这方面的节目可以大略分成地图与旅游两大类。(1). 地图类 地图可以是全国范围的，也可以是某省或城市的街道。利用多媒体，

25、可以使地图的查找更为方便，还可以获取某地区的人口.市容、面积、气候等信息。(2). 旅游类 以多媒体来介绍旅游名胜的风光、文物与习俗是非常好的构想。,家庭应用,家庭中多媒体光盘片主要包括医药与娱乐两类。(1). 医药类 在家庭中，对小伤口的处理或家人身体有些不适时，做一些最基本的诊断与护理是非常必要的，因此家用护理箱与多媒体护理医疗的光盘片便可成为家庭咨询与护理的必备工具。(2). 娱乐类 一家人在一起除了共同生活起居外，还应有娱乐教育的活动。通过使用多媒体光盘来做游戏、讲故事及观赏电影等，可以充实家庭生活的情趣。,商业,多媒体可以充分发挥它的特长，协助商业界来训练员工，以最经济有效的方法来给

26、员工实施在职教育。也可利用多媒体来展示商品，以多变化、新颖化吸引顾客另外，还可以提供顾客查询和自动答询的信息渠道。(1). 员工训练(2). 商品介绍(3). 查询服务与浏览(4). 商品广告,多媒体对数据库的影响,1). 数据量巨大且媒体之间量的差异也极大，从而影响数据库的组织和存储方法。2). 媒体种类的增多增加了数据处理的困难。3). 多媒体不仅改变了数据库的接口，使其声，图，文并茂，而且也改变了数据库的操作形式。接口的多媒体化，对查询提出了更复杂、 但对用户更友好的设计要求。4). 传统的事物一般短小精悍，在多媒体数据库管理系统中也应尽可能采用短事务。5). 多媒体数据库管理还有考虑版

27、本控制 的问题。,多媒体对数据库系统的要求,多媒体数据库管理系统除应具备传统数据库管理系统的功能(如数据库存储管理、数据共享、并发控制、事物处理等)以外，还应针对多媒体信息的特点，支持以下特殊功能：(1). 支持图像、动画、声音、动态视频、文本等多媒体字段类型及用户定义的特殊类型。(2). 支持长数据和非定长数据的集成管理.(3). 支持复杂实体的表示和处理，要求有表示和处理实体间复杂关系的能力，有保证复杂实体实态性和一致性的机制。(4). 支持同一实体的多种表现形式(如一段视频在播放时，可以改变其视频或一幅静止图像在显示时改变其对比度等性质而不影响其中的内容)。(5). 应具有良好的用户界面

28、，界面本身最好具有一定的多媒体功能，同时又能支持数据库语言工业标准SQL，使其支持多媒体信息的各种操作。(6). 支持多媒体的特殊查询及良好的处理接口。(7). 支持分布式环境。,数据库对多媒体的支持,目前数据库对多媒体的支持主要是采用扩充关系数据库方法和面向对象的方法。(1). 关系数据库对多媒体的支持关系数据库适合于处理传统商业数据，是现阶段中小型数据库系统中应用最多的一种。为了支持多媒体，关系数据库的扩展有好几种，如支持长域和可变长二进制域的存取；支持嵌套表.支持用户自定义数据类型及其操作；在关系库管理系统之上再加上对象管理层，用以表示对象之间复杂关系及最终表现形式，等等。关系数据库模型

29、决定了它只能对多媒体提供有限的支持。,数据库对多媒体的支持,(2). 面向对象数据库对多媒体的支持面向对象数据库(OODB)从数据模型角度来讲，较适合多媒体应用的要求。1). 面向对象模型支持“聚合”与“概括”的概念，可更好地处理复杂对象的结构语义。2). 面向对象模型支持抽象数据类型和用户定义的方法，便于数据库系统支持定义新的数据类型和操作。3). 面向对象系统的数据抽象、功能抽象与消息传送的特点使对象在系统中是独立的，具有良好的封闭性，封闭了多媒体数据之间的类型及其他方面的巨大差异，并且很容易实现并行处理，也便于系统模式的扩充和修改。4). 面向对象系统的对象类、继承性等特点不仅减少了冗余和由此引起的一系列问题，还非常利于版本控制。5). 面向对象系统的查询语言通常是沿着系统提供的内部固有联系进行的，避免了大量的查询优化工作。,本讲小节,本讲主要介绍设计多媒体应用系统最主要的工作和多媒体人机界面的原则，此外介绍了常见的多媒体应用系统；此外，讲解了、视频、的概念、视频的数字化过程，并简单介绍了视频处理系统。重点:多媒体人机界面原则难点:多媒体应用的工程化设计方法、视频的数字化过程,