基于FPGA的CMOS彩色图像变化ＩＰ设计【文献综述】

《基于FPGA的CMOS彩色图像变化ＩＰ设计【文献综述】》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

毕业设计（论文）文献综述题目：基于FPGA的CMOS彩色图像变化ＩＰ设计专业：电子信息工程1前言部分（阐明课题的研究背景和意义）图像信息是人类获取的最重要的信息之一，图像的采集和处理在现代多生产发展领域中占有重要的地位。在日常生活中，常用于数码相机、可视电话、多媒体IP电话和电话会议等产品;在工业生产中，图像采集可用于材料分析、锅炉火焰监测等;在生物医学领域，图像采集可以用于B超、CT、病理分析等;在金融领域，图像采集可以用于票证处理，柜员机自动检测等;在航空航天领域，可以用于各种运动目标的自动制导、运动物体的经纬度测定以及夜间侦察等【1】。对任意一个图像采集系统而言，周围环境的图像信息都是来自于图像传感器。图像传感器获得的原始图像信息的完整性和正确性，对于整个采集系统是相当重要的，直接决定了最终的成像效果。从原始图像到最终形成的真彩色图像的变换过程，称为色彩恢复，又叫颜色插值。颜色差值在图像压缩、解码和数字图像采集系统彩色实时显示方面有着非常重要的应用，在过去二十年中一直是研究热点，同时也产生了大量有价值的插值算法。目前，采用硬件来实现各种图像处理算法，成为了最新的研究热点。因此，充分利用硬件系统并行运算的速度优势，积极开展基于FPGA的颜色插值算法研究，并将其应用到图像采集系统当中，具有重要的理论和现实意义【3】。随着CMOS工艺的不断发展，它的系统集成度、动态范围、感光度、功耗等性能大幅提高，使得CMOS传感器越来越多的进入不同领域。CMOS传感器的集成度高、体积小、重量轻，它最大的优势是具有高度系统整合的条件，因为采用数字——模拟信号混合设计，从理论上讲，图像传感器所需的所有功能，如垂直位移、水平位移暂存器、传感器阵列驱动与控制系统（CDS）、模数转换器（ADC）接口电路等完全可以集成在一起，实现单芯片成像，避免使用外部芯片和设备，极大地减小了器件的体积和重量。CMOS-APS使用单一工作电压，功耗低，仅相当于CCD的1/10-1/100，还可以与其他电路兼容，具有功耗低、兼容性好的特点。并且CMOS传感器使用与制造半导体器件90％的相同基本技术和工艺，且成品率高，制造成本低，目前用于摄像的50万像素的CMOS传感器不到10美元【2】。 如今，追求高速度成为了图像处理的一个重要发展趋势。由于DSP处理器没有摆脱传统CPU的串行指令执行方式，其图像处理的速度问题一直是一个很难突破的设计瓶颈。随着大规模集成电路(ASIC)以及现场可编程门阵列(FPGA)技术的发展，它们在图像领域的应用越来越广泛。这就使图像采集和处理设计朝着速度快、容量大、体积小、重量轻的方向发展，也为图像采集和处理系统的设计与实现提供了新的方法和思路【2】。本课题设计基于FPGA的CMOS彩色图像变化IP，利用FPGA处理数据量大、处理速度快，结合CMOS图像传感器MT9M001和BayerCFA格式图像的特点，设计一种基于FPGA的图像数据转化处理IP，实现Bayer格式到RGB格式的转化的设计，研究CFA图像插值算法，实现基于FPGA的实时线性插值算法，对Bayer图像格式进行插值恢复全彩色图像，实现从黑白图像还原高清彩色图像。2主题部分（阐明课题的国内外发展现状和发展方向，以及对这些问题的评述）FPGA是一种高密度的可编程逻辑器件。自从Xilinx公司1985年推出第一片FPGA以来，FPGA的集成密度和性能提高很快，其集成密度最高达500万/片。系统性能可达百兆赫兹。FPGA是在PAL,GAL等可编程逻辑器件的基础上发展起来的大规模可编程逻辑器件。与以往的PAL,GAL等相比较，FPGA的规模较大，集成度高，适合于时序、组合等逻辑电路应用场合，可以替代几十甚至上百片通用LC芯片。FPGA具有可编程性和实现方案容易改动的特点，器件内部的硬件连接关系的描述可以存储在ROM,PROM,EPROM和磁盘中，因而在器件及其外围电路保持不动的情况下，换一片EPROM芯片，就能实现一种新的功能【5】。USB、串口、并口是PC机和外设进行通讯的常用接口，但对于数据量大的图像来说，若利用串行RS-232协议进行数据采集，速度不能达到图像数据采集所需的要求；而用USB进行数据采集，虽能满足所需速度，但要求外设必须支持USB协议，而USB协议与常用工程软件的接口还不普及，给使用带来困难。有些用户为了利用标准并行口(SPP)进行数据采集，但SPP协议的150kb/s传输率对于图像数据采集，同样显得太低【4】。FPGA用于图像处理有比较大的优势。实时图像处理对数据处理能力和吞吐量有很高的要求。以一幅分辨率为640X480的10位彩色图像为例，其数据量达到了384K字节。各种图像处理算法因为计算过程复杂，也需要处理器有足够强大的运算能力。因此，要想保证图像处理的实时性，系统的快速处理能力和大数据量的吞吐能力是其先决条件。 目前在图像处理应用的核心芯片主要为DSP或者FPGA，传统的DSP处理器是一个高性能的数字处理器，内部包括一个高性能的中央运算单元，其运行频率可以达到千兆赫兹，但是当进行较复杂的运算时，可能循环几百次才可以完成，从而在一定程度上影响了它的运行速度。而具有较高传输速率的FPGA可以采集数据量大的图像数据，对CMOS图像传感器数据采集，它最高速率可以达到2Mb/s【7】。近几年来，随着大规模可编程逻辑器件的发展和嵌入式技术的不断进步，低成本FPGA不断推陈出新。半导体工艺的进步不仅带来FPGA成本的降低，还使其性能显著提升，同时不断集成一些新的硬件资源，比如内嵌DSP块、内嵌RAM块、锁相环((PLL)、高速外部存储器接口((DDR/DDR2)、高速LuDS接口等。在Altera公司90nm的CycloneIIFPGA内部，还可以集成一种软处理器NiosII及其外设，它是目前FPGA中应用最为广泛的软处理器系统。作为一个平台，FPGA显然己经非常适合于高性能低成本的视频和图像应用。硬件实验平台是为验证时序设计的正确性和在时序驱动下的工作性能而构建的，其组成如图：CMOS图像传感器→PC机图1.电路整体框架FPGA的彩色恢复系统的研究，已知的绿色像素的强度进行估算，对红和蓝色通道亦是如此。其中最典型、应用最多的是双线性法。这一类算法容易实现，在平滑区域内也可以得到比较满意的效果，但在高频区域，尤其是在边界区域却失真明显。第二类则是利用多通道的相关性进行插值，这一类自适应的算法常常结合了对图像细节的分析判断以及颜色通道之间的相关性，插值效果要明显优于前一类，大部分的算法都属于这一类。例如基于边界的算法，加权系数 法，交互式插值法，最优化恢复也有部分算法利用了信号变换如小波变换，傅立叶变换等，这些算法通常能得到比较满意的效果，尤其是清晰的边界与细节特征，但往往算法复杂，无法应用于数码相机信号转换系统【8】。CMOS图像传感器采集到的都是经过滤波镜片后的Bayer格式马赛克图像,为了恢复丢失掉的色彩信息,必须经过插值计算。在图像处理领域中，图像插值有着广泛的应用，提高图像分辨率和清晰度是插值算法研究的主要目标。随着多媒体技术和大规模集成电路的发展，利用硬件资源实现图像处理算法以实现对视频实时处理成为图像处理的发展趋势。传统的线性插值算法容易引起边缘锯齿化和细节模糊效应，现有的非线性插值方法在一定程度上可以改善图像质量，但在计算速度和图像性能上仍有待提高，空域上的插值算法在放大倍数较大时容易导致图像模糊和细节失真。为改进插值方法的不足并提高图像质量，本文研究了图像插值算法及其在FPGA上的实现与应用，包括图像空域和变换域内的插值算法，插值算法的硬件实现及用于数字视频分辨率提升的系统实现【10】。本课题主要研究包括：1、研究了空域上常用的图像插值算法。提出了基于图像多方向边缘最大相关性的图像插值算法，引入了边缘保护和最大相关性插值。由于其良好的边缘自适应特性，较好解决了传统方法导致的边缘锯齿化和细节模糊等问题，而且运算量小，适合硬件实现。2、研究了变换域上的图像插值算法。针对空域上插值算法在较大放大倍数时的图像模糊和细节失真现象，在小波域上提出基于小波的保护边缘插值算法，充分利用了小波分解对图像细节的提取特性和自适应滤波理论，较好保持了边缘特征和高频细节，有效改善了图像分辨率和视觉效果。3、结合数字视频实时处理要求，研究了多方向边缘最大相关性插值算法的FPGA设计与实现，可以支持较高频率视频输入下的稳定工作。4、研究CFA 图像插值算法,实现基于FPGA 的实时线性插值算法,对Bayer 图像格式进行插值恢复全彩色图像,实现从黑白图像还原高清彩色图像。视频便携式摄像机、掌上电脑、PDA和保安设备的巨大需求推动了CMOS图像传感器的广泛应用。其中以APS发展最为迅速，过去工艺中各种不易解决的技术问题现在都能找到相应的解决办法，图像质量得到大大改善，像素规模已由最初的几万像素发展到现在的几百万上千万像素。CMOS传感器 中光探测部件和输出放大器都是每个像素的一部分，积分电荷在像素内就被转为电压信号，通过X-Y输出线输出，这种行列编址方式使窗口操作成为可能，可以进行在片平移、旋转和缩放，没有拖影、光晕等假信号，图像质量高。高速性是CMOS电路的固有特性，CMOS图像传感器可以极快地驱动成像阵列的列总线，并且ADC在片内工作具有极快的速率，对输出信号和外部接口干扰具有低敏感性，有利于与下一级处理器连接【7】。CMOS图像传感器具有很强的灵活性，可以对局部像素图像进行随机访问，增加了工作灵活性。目前，CMOS图像传感器主要朝着高分辨率、高动态范围、高灵敏度、超微型化、数字化、多功能化的方向发展。随着CMOS图像传感器技术的完善和发展，它的应用范围也会不断拓宽，全球CMOS图像传感器销售量将逐年大幅度增长。3总结部分（将全文主题进行扼要总结，提出自己的见解并对进一步的发展方向做出预测）随着科技技术的飞跃发展，CMOS图像传感器产品技术越来越成熟,其性能已经达到或超过CCD。利用CMOS图像传感器进行彩色图像采集,在保证高质量图像的前提下降低了设计复杂度和产品成本。目前，采用硬件来实现各种图像处理算法，成为了最新的研究热点。因此，充分利用硬件系统并行运算的速度优势，积极开展基于FPGA的颜色插值算法研究，并将其应用到图像采集系统当中，具有重要的理论和现实意义。而利用FPGA对CMOS高速数据采集方法，可以把CMOS的主动器件通过FPGA变成可控制的方式，PC可间接对存储体进行寻址运算。在该系统中用PC的并口实现了CMOS信号的高速采集处理，按前述软硬件方法制作的系统，实际稳定的采样速率达到了15帧/s,该系统已应用在管道无损检测样机中，效果良好【6】。这种信号采集方法还可以在其它诸多需要高速图像数据采集的场合应用。国际应用市场上CMOS图像传感器将超越CCD图像传感器，可以相信一个崭新的数字图像技术时代即将来临。 4参考文献[1]胡磊， CCD图像的颜色插值算法研究及其FPGA实现. 通信与信息系统，2009.7.[2]候伯亭，顾新.VHDL硬件描述语言与数电路设计(修订版).西安：西安电子科技大学出版社，1999.1.[3]Microchip Technology Inc. “PIC24H 系列数据手册” (DS70175D_CN) 2007].[4]王诚，薛小刚，钟信潮．FPGA/CPLD设计工具Xilinx ISE使用详解[M]．人民邮电出版社，2005（1）．[5]彭俊，基于FPGA的彩色恢复系统的研究.中国科学院研究生院，光学工程，2007.[6]来金梅，FPGA现状及其发展趋势[J]．2005(8)，22(9)：33－42．[7]田书成，基于CMOS图像传感器的宽动态、低照度一体化摄像机的设计.太原理工大学，通信与信息系统，2010.[8]XilinxInc.DirectDigitalSynthesizer(DDS)www.support.xilinx.com.[9]Dan Morelli  Modulating Direct Digital Synthesizer in a QuickLogic FPGA[J]. 2006, 11（23）：12－24.[10]苏光大. 微机图象处理系统. 北京：清华大学出版社，2000.7.[11]EDA先锋工作室．Altera FPGA/CPLD设计[M]．北京:人民邮电出版社，2005(7)．[12]韩伟，谢憬，毛志刚.基于FPGA的多功能LCD控制器的设计与实现[J].信息技术.2008年第6期.[13]张洪润,张亚凡.FPGA/CPLD应用设计200例[M].北京航空航天大学出版社.2009.[14]朱耀东，经亚枝，张焕春.基FPGA的一种高速图形帧存设计[J].电子技术应用.2003.[15]成英，FPGA产品市场现状与展望[J].电子设计应用.2004年12期.[16]刘方，基于Bayer彩色滤波阵列插值算法的研究。电子科技大学。2006.[17]梁飞，基于CMOS图像传感器的成像技术与处理方法研究.沈阳航空工业学院，信号与信息处理，2010.[18]杨华，基于FPGA的Bayer到RGB图像格式转化设计.现代电子技术，2010,02期.