数字视频处理课件 2.3-2.5

《数字视频处理课件 2.3-2.5》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

2.3模拟视频信号电视信号是视频处理的重要信息源电视信号的标准也称为电视的制式目前各国的电视制式不尽相同，不同制式之间的主要区别在于不同的刷新频率、彩色编码系统和传送频率等等目前世界上常用的电视制式有中国大陆、欧洲等地使用的PAL制式以及美国、日本等地使用的NTSC制式等 电视信号电视摄像机的作用就是将视频图像转换为电信号任何时刻，电信号只有1个值，即是一维的但视频图像通常是二维的，将二维视频图像转换为一维电信号是通过光栅扫描实现的（指在一定的时间间隔内电子束以从左到右、从上到下的方式扫描荧光屏） 隔行扫描(InterlacedScan)在隔行扫描方式中，电子束扫完第1行后从第3行开始扫，接着扫第5行，7行，……，一直扫到最后一行奇数行扫完后以同样的方式扫描偶数行，这样就完成了一帧的扫描在隔行扫描中，无论是摄像机还是显示器，获取或显示一幅图像都要扫描两遍才得到一帧完整的图像 隔行扫描 场（Field）每一遍隔行扫描行的集合称为场，因此，一帧（Frame）由两个场组成，顶场（奇数行）信号和底场（偶数行）信号 隔行扫描的由来众所周知，帧率只要高于一定标准，就达到流畅考虑到交流电频率50或60Hz，电视标准制订者确定了25或30fps的帧率如果电视机采用逐行扫描，每秒扫描25或30帧行不行呢？理论上可以，但实际不行 隔行扫描的由来原因在于，在电子束的照射下，CRT的荧光粉会立即发光，但只要电子束一离开，几乎瞬间就会暗下来人眼虽然看不到这么明显的变化，但仍然会有亮度衰减的感觉可以想象，如果采用30fps扫描方式显示，当电子束从屏幕的上半部分移到下半部时，屏幕上半部分的亮度就有了可以观察到的衰减，于是画面下半部分显得更亮 隔行扫描的由来为了解决这个问题，最佳的办法是加倍刷新率，改成60fps扫描，因为在60分之一秒内，人眼能感觉到的亮度衰减就很小了可是这样做，单位时间内扫描的总行数会加倍，那么水平扫描的速度就要加快。如此一来技术要求就会过高，以当时的条件做不到 隔行扫描的由来于是标准制订者想到了一个折衷的办法，先花60分之一秒扫描奇数行(顶场)，然后再用后60分之一秒扫描偶数行(底场)，两者互补成完整的画面虽然扫描底场时，顶场的亮度衰减了，但是由于亮暗的部分交织在一起，反而不易察觉 Interlaceartifacts（交错缺陷）Aninterlacedcameracaptures60(or50)uniquefieldspersecond.Ifascenecontainsanobjectinmotionwithrespecttothecamera,eachfieldcarrieshalftheobject’sspatialinformation,butinformationinthesecondfieldwillbedisplacedaccordingtotheobject’smotion. InterlaceartifactsConsiderthetestscenesketchedinthefigure,comprisingablackbackgroundpartiallyoccludedbyawhitediskthatisinmotionwithrespecttothecamera. InterlaceartifactsThefirstandsecondfieldsimagedfromthissceneareillustratedrespectively.(Theexampleneglectscaptureblurowingtomotionduringtheexposure.)Theimageinthesecondfieldisdelayedwithrespecttothefirstbyhalftheframetime(thatis,by160sor150s);bythetimethesecondfieldisimaged,theobjecthasmoved. InterlaceartifactsUponinterlaceddisplay,thetimesequenceofinterlacedfieldsismaintained:Notemporalorspatialartifactsareintroduced.However,inthepresenceofmotion,simplystitchingtwofieldsintoasingleframeproducesspatialartifactssuchasthatsketchedinthefigure.Techniquestoavoidsuchartifactsisdeinterlacing. 逐行扫描(ProgressiveScan)发展到液晶、等离子等显示设备后，因为所的点都是同时发光，且光度始终固定，不存在CRT遇到的相关问题，所以逐行扫描开始大范围应用 逐行扫描在逐行扫描方式中，电子束从显示屏的左上角一行接一行地扫到右下角，在显示屏上扫一遍就显示一幅完整的图像液晶和等离子电视、电脑显示器 扫描方式对比逐行扫描优点：图像垂直清晰度高，空间处理效果好，有利于电视转换和制式转换，能改善视频压缩效率等；其缺点是：数码率高，行扫描频率增高，硬件难度加大隔行扫描能节省带宽，且硬件实现简单 NTSC制式NTSC(NationalTelevisionStandardCommitte)是美国国家电视系统委员会在1953年制定的一种彩色电视制式，是目前常用的电视制式，在美国、日本等地广为使用它定义了彩色电视机对于所接受的电视信号的接收方式、彩色的处理方式、屏幕的扫描频率等等 NTSC制式指标：525行/帧，30帧/秒(fps)在每场的开始部分保留20条扫描线作为控制信息，因此只有485条线的可视数据 PAL制式PAL(PhaseAlternateLock)是联邦德国1962年制定的一种彩色电视制式，我国大陆和大部分西欧国家都使用这种制式625行/帧，25帧/秒每帧有575行有图像显示 电视制式兼容性NTSC制和PAL制是互不兼容的电视制式NTSC制和PAL制都是彩色和黑白兼容的制式，这里的“兼容”有两层意思：一是指黑白电视机能接收彩色电视信号，显示的是黑白图像另一层意思是彩色电视机能接收黑白电视信号，显示的也是黑白图像，这叫逆兼容性 彩色与黑白电视的兼容性必需采用相同的一些基本参数，如扫描方式、扫描行频、场频、帧频、同步信号、图像载频、伴音载频等等需要将摄像机输出的三基色信号转换成一个亮度信号，以及代表色度的两个色度信号，并将它们组合成一个彩色全电视信号进行传送在接收端，彩色电视机将彩色全电视信号重新转换成三个基色信号，在显像管上重现发送端的彩色图像，黑白电视机只显示亮度信号 电视制式兼容性也有全制式的电视机，这为处理和转换不同制式的电视信号提供了极大的方便全制式电视机可在各国各地区使用 模拟视频信号类型（传输、接口）复合视频信号S-Video视频信号分量视频信号 复合视频信号(CompositeVideo)定义为包括亮度和色度的单路模拟信号，即从彩色全电视信号中分离出伴音后的视频信号，此时色度信号与亮度信号混合在一起由于复合视频信号的传输仍然是一种亮度色度混合的视频信号，仍然需要显示设备对其进行亮/色分离和色度分离才能成像，这种先混合再分离的过程会造成彩色信号的损失，色度信号和亮度信号也会有很大的机会相互干扰从而影响最终输出的视频 复合视频信号接口又称为AV端子或Video端子 S-Video分离视频信号S-Video(SeparatedVideo)是亮度和色度分离的一种视频信号，用两路导线分别传输，并可以分别记录在模拟磁带的两路磁轨上这种信号不仅其亮度和色度都具有较宽的带宽，而且由于亮度和色度分开传输，可以减少其互相干扰与复合视频信号相比，S-Video可以更好地重现色彩 S-VideoS-Video信号使用单独的两条信号电缆线，一条用于亮度信号，另一条用于色度信号，这两个信号称为Y/C信号S-Video使用4针连接器 S-Video 分量视频信号分量视频信号(componentvideosignal)是指每个分量（Y、U、V或Y、Cb、Cr）作为独立的视频信号使用分量视频信号是表示彩色的最好方法，但需要比较宽的带宽和同步信号分量信号实际上也是亮色分离的信号，与S-Video不同的是两个色度信号不用分离 分量视频信号 2.4视频数字化要让计算机处理视频信息，首先要解决的是视频数字化的问题视频数字化是将模拟视频信号经模数转换转为计算机可处理的数字信号，计算机要对输入的模拟视频信息进行采样与量化，并经编码使其变成数字化视频 数字化常用的方法1.从复合彩色电视中分离出各个分量信号，然后数字化，如录像带、摄像机等的电视信号对这类信号的数字化，通常的做法是首先把模拟的彩色电视信号分离成YCbCr等彩色空间中的分量信号，然后用三个A/D转换器分别对它们数字化 数字化常用的方法2.首先用一个高速A/D转换器对彩色电视信号进行数字化，然后在数字域中进行分离，以获得所希望的YCbCr等分量数据 视频采样频率按照ITU-RBT.601标准，亮度信号的采样频率为13.5MHz对PAL制，亮度采样频率625×25×N=15625×N=13.5MHzN=864，为每一扫描行上的采样数目对NTSC制，亮度采样频率525×29.97×N=15734×N=13.5MHz,N=858 有效采样样本对PAL制的亮度信号，每一条扫描行采样864个样本对NTSC制的亮度信号，每一条扫描行采样858个样本对所有的制式，每一扫描行的有效样本数均为720个 有效采样样本 采样格式两种采样方法：一种是使用相同的采样频率对图像的亮度信号和色度信号进行采样另一种是对亮度信号和色度信号分别采用不同的采样频率进行采样如果对色度信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为子采样(Subsampling) 子采样的压缩特性人眼对色度信号的敏感程度比对亮度信号的敏感程度低，利用这个特性可以把图像中表达色度的信号去掉一些而使人不察觉所以色度信号的取样频率可以比亮度信号的取样频率低，以减少数字视频的数据量子采样也就是利用人的视觉系统这个特性来达到压缩彩色电视信号的目的 采样格式4:4:4这种采样格式不是子采样格式，它是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、4个Cr色度样本和4个Cb色度样本，这就相当于每个像素用3个样本表示 子采样格式4:2:2这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、2个Cr色度样本和2个Cb色度样本，平均每个像素用2个样本表示 子采样格式4:1:1这种子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本、1个Cr色度样本和1个Cb色度样本，平均每个像素用1.5个样本表示 子采样格式4:2:0这种子采样格式是指在水平和垂直方向上每2个连续的采样点上取2个亮度Y样本、1个Cr色度样本和1个Cb色度样本，平均每个像素用1.5个样本表示 子采样格式ITU-RBT.601标准使用了4:2:2采样结构亮度信号的采样频率为13.5MHz，色度信号为6.75MHz 不同采样格式与频率采样格式信号形式采样频率样本数/扫描行(MHz)NTSCPAL4:2:2Y13.5858(720)864(720)Cr6.75429(360)432(360)Cb6.75429(360)432(360)4:4:4Y13.5858(720)864(720)Cr13.5858(720)864(720)Cb13.5858(720)864(720) 标准化分辨率格式公用中分辨率格式CIF（CommonIntermediateFormat）格式具有如下特性：分辨率352×288使用非隔行扫描(non-interlacedscan)使用1/2的PAL水平分辨率，即288线1/4公用中分辨率格式QCIF（Quarter-CIF）和SQCIF格式（Sub-QuarterCommonIntermediateFormat） 标准化分辨率格式（4:2:0）CIFQCIFSQCIF行数/帧像素/行行数/帧像素/行行数/帧像素/行亮度(Y)28835214417696128色度(Cb)14417672884864色度(Cr)14417672884864 标准化分辨率格式类似的格式定义还有4CIF（4×CIF，704×576或720×576），都是以CIF格式为基准进行定义如果是NTSC制，则各种格式的288的倍数相应改为240的倍数 标准化分辨率格式Thechoiceofframeresolutiondependsontheapplicationandavailablestorageortransmissioncapacity.Forexample,4CIFisappropriateforstandard-definitiontelevisionandDVD-video;CIFandQCIFarepopularforvideoconferencingapplications;QCIForSQCIFareappropriateformobilemultimediaapplicationswherethedisplayresolutionandthebitratearelimited. 标准化分辨率格式 宽高比(Aspectratio)指视频图像的宽度和高度之间的比例传统影视的宽高比是4:3，宽屏幕电影的宽高比是1.85:1，高清晰度电视是16:9，全景式电影是2.35:14:3(12:9)16:9 高清电视高清晰度电视(HighDefinitionTelevision)是具有正常视力的观众可得到与观看原始景物时的感受几乎相同的数字电视HDTV屏幕的宽高比均为16：9电视画面可用1920×1080像素和1280×720像素两种尺寸扫描方式为逐行扫描或隔行扫描 HDTV格式720p格式：1280×720，水平720线，逐行扫描，720p@30fps，720p@60fps1080i格式：1920×1080，水平1080线，隔行扫描，1080i@60fps(每秒60场)1080p格式：1920×1080，水平1080线，逐行扫描，1080p@30fps，1080p@60fps 超高清电视UHDTVUltra-high-DefinitionTelevision 超高清电视UHDTV 标清电视标准清晰度电视（StandardDefinitionTelevision，SDTV）是指电视图像的质量比HDTV制数字电视质量低的电视，分辨率相当于PAL制或NTSC制模拟电视的最好分辨率720×576720×480 标准化分辨率格式（计算机）VGA=VideoGraphicsArray640*480SVGA=SuperVideoGraphicsArray800*600XGA=ExtendedGraphicsArray1024*768SXGA=SuperExtendedGraphicsArray1280*1024SXGA+=1400*1050UXGA=UltraExtendedGraphicsArray1600*1200 信号量化采样后所得到的模拟信号在时间-空间上是离散的，但在幅度上仍然是连续的量化：将无限级的信号幅度变换成有限级的数码表示量化器：按照一定规则对采样信号的幅度值作近似表示，变成有限离散值 均匀量化对于均匀量化一般量化值都用二进制来表示，如果用B个二进制表示量化值，即量化字长，那么一般将幅度值划分为2B个等分区间111-4△-3△-2△-△100101110011010001000-1/2△-3/2△-5/2△-7/2△7/2△5/2△3/2△1/2△△2△3△4△ 信号量化在时间轴的任意一点上量化后的信号电平与原模拟信号电平之间在大多数情况下总是存在有一定的误差，量化所引入的误差是不可避免的同时也是不可逆的由于信号的随机性这种误差大小也是随机的，这种表现类似于随机噪声效果，具有相当宽度的频谱，因此我们又把量化误差称为量化噪声 信号量化如果视频信号量化比特率为8比特，信号就有256个量化值若最大信号正好用足8比特的话，小于1/256最大值的信号就只能当0处理了而且每两个相邻数字的差距也必需大于1/256最大值才能分得开，当两个原来不同的数值用同一个二进制值来表示时，实际数值与记录数值之差就成为量化噪声 信号量化所以，量化比特率已决定了整个系统的理想状态下的最小噪声、动态范围和信噪比，模拟信号在理想状态是没有这种限制的 非均匀量化基于人的视觉特性，对于人眼不敏感的部分不需要进行过细的分层，只需进行粗量化而对人眼敏感的部分，就需要进行较细的分层，即需进行细量化 2.5数字视频的采集2.5.1视频采集卡2.5.2数字摄像机2.5.3摄像头 2.5.1视频采集卡系统从模拟设备中获取数字视频：首先是提供模拟视频输出的设备；然后是可以对模拟视频信号进行采集的设备；最后，是接收和记录编码后的数字视频数据的设备 视频采集卡系统提供模拟视频输出的设备有录像机、摄像机、电视机等对模拟视频信号进行采集、量化和编码的设备由视频采集卡来完成最后，由计算机接收和记录编码后的数字视频数据 视频采集卡(Videocapturecard)在这一过程中起主要作用的是视频采集卡，它不仅提供接口以连接模拟视频设备和计算机，而且具有把模拟信号转换成数字信号的功能 视频采集卡视频采集卡是安装在计算机扩展槽上的一个板卡它可以汇集多种视频源的信息，对被捕捉和采集到的模拟视频进行数字化、冻结、存储、输出及其他处理操作，如编辑、修整、裁剪、按比例绘制、像素显示调整、缩放、压缩等 视频采集卡工作原理图 视频采集卡的接口视频采集卡的接口包括与模拟视频设备的接口、与PC的接口可接收来自摄像机、录像机、VCD机等多种视频信号，通过软件可选择所需的视频源目前PC视频采集卡通常采用32位的PCI总线接口，插到PC主板的扩展槽中，以实现采集卡与PC的通信与数据传输 视频采集卡的接口视频采集卡至少要具有一个复合视频接口（VideoIn），以便与模拟视频设备相连高性能的采集卡一般具有一个复合视频接口和一个S-Video接口；一般的采集卡都支持PAL和NTSC两种电视制式 视频采集卡的实时采集处理由于模拟视频输入端可以提供不间断的信息源，视频采集卡要采集模拟视频序列中的每帧图像，并在采集下一帧图像之前把这些数据传入PC系统因此，实现实时采集的关键是每一帧需要多少处理时间如果每帧视频图像的处理时间超过相邻两帧之间的相隔时间，则会出现数据的丢失，即丢帧现象 视频采集卡的压缩功能视频采集卡可以把获取的视频序列进行压缩处理也就是说，视频序列的获取和压缩是在一起完成的，免除了再次进行压缩处理的不便不同档次的采集卡具有不同质量的采集压缩性能 视频采集卡的驱动和应用程序视频采集卡一般都配有硬件驱动程序以实现PC对视频采集卡的控制和数据通信根据不同的视频采集卡所要求的操作系统环境，各有不同的驱动程序只有把采集卡插入了PC的主板扩展槽并正确安装了驱动程序以后才能正常工作 外置式与内置式外置式的USB接口视频采集卡和内置式的PCI接口视频采集卡内置式的优势：首先，价格要比外置的便宜很多其次，它不会占用外部的桌面空间，现在在电脑桌上有太多的外设，如果摆放的过多也是件比较烦人的事情 外置式与内置式其三，内置视频卡不需外接电源，不仅省去了一个电源插头的位置，也减少了电源连接线过多而显得十分杂乱的情况，而且还可以避免因市电电压不稳而带来的视频质量下降的情况发生 外置式与内置式内置式视频卡弱点：易受到电脑内部元器件的电磁干扰，引起其播放质量下降在板卡安装时要比外置的麻烦一些，必须要拆开机箱才可以进行安装在安装驱动或软件时也容易和其他电脑设备发生冲突 2.5.2数字摄像机数字摄像机就是DV、DigitalVideo数码摄像机进行工作的基本原理简单说就是光-电-数字信号的转变与传输通过感光元件将光信号转变成电流，再将模拟电信号转变成数字信号，并由专门的芯片进行处理和过滤后得到的视频信息 数字摄像机数字摄像机的图像传感器件能把光线转变成电荷，通过模数转换器（ADC）芯片转换成数字信号，主要有两种：一种是广泛使用的CCD（Charge-coupledDevice，电荷藕合器件）；另一种是CMOS（ComplementaryMetalOxideSemiconductor，互补金属氧化物半导体）按使用用途可分为：广播级机型、专业级机型、消费级机型；按存储介质可分为：光盘式、硬盘式、存储卡式 按照使用用途分类1、广播级机型2、专业级机型3、消费级机型 1、光盘式2、硬盘式3、存储卡式按照存储介质分类 图像传感器件CCD电荷耦合器件、CMOS互补金属氧化物半导体CCD的优点是灵敏度高，噪音小，信噪比大，但是生产工艺复杂、成本高、功耗高CMOS的优点是集成度高、功耗低（不到CCD的1/3）、成本低，但是噪音比较大、灵敏度较低、对光源要求高在相同像素下CCD的成像往往通透性、明锐度都很好，色彩还原、曝光可以保证基本准确 数字摄像机数字摄像机不仅能拍出不同效果的片段，还可以代替照相机拍照可以根据自己想要的拍摄效果场景模式，还有很多滤镜效果 数字摄像机相对模拟摄像机的优势清晰度高：模拟摄像机记录模拟信号，所以视频分辨率不高无损复制：DV上记录的信号可以无数次地转录，视频质量丝毫也不会下降，这一点也是模拟摄像机所望尘莫及的体积小、重量轻：和模拟摄像机相比，DV机的体积大为减小，重量也大为减轻 数字摄像机相对模拟摄像机的优势在摄像时，使用者通过DV的液晶显示屏观看要拍摄的视频，拍摄后可以马上看到拍好的视频DV可以与计算机连接，以读取DV中的内容，继而对这些内容进行后期处理，如编辑等，还可以刻成VCD或DVD保存起来DV还可以与电视机连接，不仅能在电视机上读取DV带中的内容，还能录制电视节目 数字摄像机与计算机的信息交换数字摄像机以数字形式记录的视频信号，如能通过接口卡与PC相连接，将信号输入计算机硬盘，就可方便地进行摄像后编辑和多种特技处理 2.5.3摄像头摄像头（Camera）利用光电技术采集影像，然后通过内部电路转换成能够被计算机所处理的数字信号，它作为一种视频输入设备，被广泛的运用于视频会议、远程医疗及实时监控等方面 摄像头近年以来，随着互联网技术的发展，网络速度的不断提高，再加上感光成像器件技术的成熟并大量用于摄像头的制造上，这使得它的价格降到普通人可以承受的水平，普通的人也可以彼此通过摄像头在网络进行有影像的交谈和沟通人们更倾向于把摄像头看成是一种网络设备，称之为“网络眼”（WebEye） 摄像头分类摄像头分为数字摄像头和模拟摄像头模拟摄像头捕捉到的视频信号必须转换成数字模式数字摄像头可以直接捕捉视频，然后通过USB接口等传到计算机里现在电脑市场上的摄像头基本以数字摄像头为主 摄像头 数字摄像头工作过程景物通过镜头生成的光学图像投射到图像传感器表面上，然后转为电信号，经过A/D（模数转换）转换后变为数字图像信号，再送到数字信号处理芯片（DSP）中加工处理，再通过USB接口传输到电脑中处理一般根据所用图像传感器件的不同有CCD和CMOS两类之分