基于FPGA的CMOS彩色图像变化ＩＰ设计【开题报告】

《基于FPGA的CMOS彩色图像变化ＩＰ设计【开题报告】》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

毕业设计（论文）开题报告题目：　　　基于FPGA的CMOS彩色图像变化ＩＰ设计　　　　　　　　　　　　　　　　　　　　　　专业：电子信息工程1选题的背景、意义CMOS是一种采用CMOS(ComplementaryMetal-oxide-semiconductor,互补金属氧化物半导体)工艺制造的图像传感器。相比于CCD器件,具有集成度高、功耗低、体积小、工艺简单、开发周期短等优点,近年来在工业、监控、航空和航天等众多领域显示出强劲的发展势头【1】。利用FPGA处理数据量大、处理速度快,结合CMOS图像传感器MT9M001和BayerCFA格式图像的特点,设计一种基于FPGA的图像数据转换处理系统,提出用硬件实现Bayer格式到RGB格式转换的设计方案,研究CFA图像插值算法,实现基于FPGA的实时线性插值算法,对Bayer图像格式进行插值恢复全彩色图像,实现从黑白图像还原高清彩色图像。整个设计模块能够满足高帧率和高清晰的实时图像处理,占用系统资源很少,用较少的时间完成了图像数据的转换,从而提高了效率【2】。FPGA（Field－ProgrammableGateArray），即现场可编程门阵列，它是在PAL、GAL、CPLD等可编程器件的基础上进一步发展的产物。它是作为专用集成电路（ASIC）领域中的一种半定制电路而出现的，既解决了定制电路的不足，又克服了原有可编程器件门电路数有限的缺点。目前以硬件描述语言（Verilog或VHDL）所完成的电路设计，可以经过简单的综合与布局，快速的烧录至FPGA上进行测试，是现代IC设计验证的技术主流。FPGA上进行测试，是现代IC设计验证的技术主流。这些可编辑元件可以被用来实现一些基本的逻辑门电路（比如AND、OR、XOR、NOT）或者更复杂一些的组合功能比如解码器或数学方程式。在大多数的FPGA里面，这些可编辑的元件里也包含记忆元件例如触发器（Flip－flop）或者其他更加完整的记忆块【7】。CMOS图像传感器采集到的都是经过滤波镜片后的Bayer格式马赛克图像,为了恢复丢失掉的色彩信息,必须经过插值计算。随着大规模/超大规模集成电路以及大规模可编程逻辑器件(CPLD/FPGA)的高速发展和广泛应用，实时图像处理也得到了非常迅速的发展。为了提高图像处理的速度，满足系统实时要求，可以用硬件来实现对图像的处理，FPGA芯片便是目标硬件的理想选择之一，同时FPGA的应用也为提高图像处速度提供了新的思路和解决方法【11】。 本课题设计基于FPGA的CMOS彩色图像变换IP，实现Bayer格式到RGB格式转换的设计,研究CFA图像插值算法,实现基于FPGA的实时线性插值算法,对Bayer图像格式进行插值恢复全彩色图像,实现从黑白图像还原高清彩色图像。2相关研究的最新成果及动态视频便携式摄像机、掌上电脑、PDA和保安设备的巨大需求推动了CMOS图像传感器的广泛应用。其中以APS发展最为迅速，过去工艺中各种不易解决的技术问题现在都能找到相应的解决办法，图像质量得到大大改善，像素规模已由最初的几万像素发展到现在的几百万上千万像素。且CMOS传感器芯片已广泛用于数码相机、保安监控和医疗设备等诸多领域。在低分辨率应用领域中，Pinkhill公司用于娱乐和玩具行业的成像系统，Marshall公司推出的单片照相机，VLSIVision公司生产的用于儿童娱乐即时拍照新概念相机，韩国汉城国立大学电子工程学院集成系统实验室利用64×256阵列传感器开发的指纹识别系统等；在中、高分辨率应用领域，CMOS图像传感器也得到广泛的发展和应用，如VLSIVision生产的单色384×287像素和320×243像素的CMOS摄像机及阵列达1000×800的用于数字相机的彩色图像传感器，美国Omnivision公司开发的CMOS图像传感器系列产品有640×480，1024×768(黑白、彩色)图像传感器及正在开发的高分辨率1280×1024图像传感器，Rockwell半导体系统所研制的用于数字和视频领域的640×480，800×600，960×720阵列高分辨率CMOS图像传感器，美国宇航局喷气实验室设计制造的含有1024×1024阵列CMOS图像传感器的彩色相机，Sunni公司正在开发用于指纹识别和二维条形码识别的高集成度CMOS图像传感器【13】。高速性是CMOS电路的固有特性，CMOS图像传感器可以极快地驱动成像阵列的列总线，并且ADC在片内工作具有极快的速率，对输出信号和外部接口干扰具有低敏感性，有利于与下一级处理器连接。CMOS图像传感器具有很强的灵活性，可以对局部像素图像进行随机访问，增加了工作灵活性【15】。与以往的PAL,GAL等相比较，FPGA的规模较大，集成度高，适合于时序、组合等逻辑电路应用场合，可以替代几十甚至上百片通用lc芯片。FPGA具有可编程性和实现方案容易改动的特点，器件内部的硬件连接关系的描述可以存储在ROM,PROM,EPROM和磁盘中，因而在器件及其外围电路保持不动的情况下，换一片EPROM芯片，就能实现一种新的功能。这种低成本 FPGA开辟的新兴市场将是驱动FPGA需求增长的主要动力，新兴市场包括消费电子、汽车和工业应用。未来，FPGA不但会在消费电子市场代替低出货量的ASIC器件，而且还会代替一些汽车应用领域的MCU器件和通信、视频处理领域的DSP器件。在经历了前几年通信市场低迷带来的不景气后，FPGA厂商将应用扩大到了众多的新兴领域，并且路越走越宽，该市场增长率大大高于整体半导体市场的增长率，这令为数不多的FPGA厂商正迈向幸福的生活【13】。所以利用低成本FPGA处理数据量大、处理速度快,再结合CMOS图像传感器MT9M001和BayerCFA格式图像的特点,设计一种基于FPGA的图像数据转换处理系统的方案，即将成为热点话题。3课题的研究内容及拟采取的研究方法（技术路线）、研究难点及预期达到的目标利用FPGA 处理数据量大、处理速度快,结合CMOS 图像传感器MT9M001 和BayerCFA 格式图像的特点,设计一种基于FPGA 的图像数据转换处理IP。本课题硬件实验平台，其组成如图：图1.电路整体框架一、研究内容：1.FoundationISE平台上设计基于xilinxFPGA的图像数据处理IP，要求提供设计源码和测试台文件及相关波形仿真图(modelsim5.5f)。2.利用CMOS 图像传感器MT9M001 和BayerCFA 格式图像的特点,设计一种基于FPGA 的图像数据转换处理IP，实现Bayer型CFA到RGB格式的转换。3.研究CFA 图像插值算法,实现基于FPGA 的实时线性插值算法,对Bayer 图像格式进行插值恢复全彩色图像,实现从黑白图像还原高清彩色图像。 4.最后能演示运行，显示简单图形。二、技术路线：第一，了解CMOS图像传感器的工作的原理和功能。CMOS器件的集成度高、体积小、重量轻，它最大的优势是具有高度系统整合的条件，因为采用数字——模拟信号混合设计，从理论上讲，图像传感器所需的所有功能，如垂直位移、水平位移暂存器、传感器阵列驱动与控制系统（CDS）、模数转换器（ADC）接口电路等完全可以集成在一起，实现单芯片成像，避免使用外部芯片和设备，极大地减小了器件的体积和重量。CMOS型固态图像传感器在光检测方面都利用了硅的光电效应原理典型的CMOS像素阵列，是一个二维可编址传感器阵列。传感器的每一列与一个位线相连，行允许线允许所选择的行内每一个敏感单元输出信号送入它所对应的位线上，位线末端是多路选择器，按照各列独立的列编址进行选择。第二，学习Xilinx软件的基本使用，熟悉FPGA的现场可编程特性；学习modelsim仿真工具的使用方法，掌握各种仿真流程与实现方法。熟悉FPGA的设计过程。掌握复杂时序逻辑电路的设计方法，掌握可综合的VHDL语言的设计风格；掌握FPGA下载的设计方法；利用硬件验证设计的正确性。第三，了解Bayer型CFA的特点。在光打在传感芯片之前，它要首先通过一个彩色滤波阵列，即CFA(ColorFilterArray)，使得相应的彩色光透过，而滤除其它颜色的光，如图2所示。为了得到全彩色图，必须在每个像素位置测出三种基色光(红、绿、蓝)的强度，但为了降低数字相机的成本与体积，本课题采用单片CMOS图像传感器，通过其表面覆盖的CFA，使得只有一种基色光到达每个像素位置。图2.BayerCFA第四，了解RGB格式的特点。根据人眼的结构，所有的颜色都可以看作是红、绿、蓝三种基色按不同的比例组合而成。由于这三种基色可以由物理手段产生出来，通常也称为物理三基色，它们相互独立，其中任一色均不能由其它二色混合产生。RGB彩色模型可用图3所示的单位立方体模型表示。 图3.RGB彩色空间模型第五，了解CFA图像插值算法，实现基于FPGA的实时线性插值算法。双线性(bilinear)法属于单通道独立插值法，作为最传统、简单、基础的插值算法之一，它仍然是理解并设计新型算法的基础，对参考评估其它算法的性能仍具有广泛的意义。第六，对Bayer图像格式进行插值恢复全彩色图像，实现从黑白图像还原高清彩色图像。三、研究难点：1.研究CFA 图像插值算法,实现基于FPGA 的实时线性插值算法,对Bayer 图像格式进行插值恢复全彩色图像,实现从黑白图像还原高清彩色图像。2.在本课题的软件设计中，图像实时采集和后续处理全部在FPGA中进行，需要较大规模的逻辑开发量。对于大规模的逻辑电路，开发的难点就在于时序的设计。3．图像插值算法，应用的是FPGA的实时线性插值算法。这一类算法容易实现，在平滑区域内也可以得到比较满意的效果，但在高频区域，尤其是在边界区域却失真明显。四、预期达到的目标直接用CMOS传感器采集到的原始图像数据，送人FPGA内部，通过插值算法进行处理，得到真彩色图像。4研究工作详细工作进度和安排 2010年12月2日－2011年1月10日完成文献综述、外文翻译的撰写；2011年2月25日前完成开题报告；2011年3月1日--3月24日完成系统框架设计；2011年3月25日--4月8日完成系统各模块功能设计；2011年4月9日--5月9日软硬件系统调试、修改完善；2011年5月10日--5月16日撰写论文，完成论文初稿；2011年5月17日--5月25日完成论文修改稿，准备答辩5参考文献[1]梁飞，基于CMOS图像传感器的成像技术与处理方法研究.沈阳航空工业学院，信号与信息处理，2010.[2]杨华，基于FPGA的Bayer到RGB图像格式转化设计.现代电子技术，2010,02期.[3]胡磊， CCD图像的颜色插值算法研究及其FPGA实现. 通信与信息系统，2009.7.[4]候伯亭，顾新.VHDL硬件描述语言与数电路设计(修订版).西安：西安电子科技大学出版社，1999.1.[5]Microchip Technology Inc. “PIC24H 系列数据手册” (DS70175D_CN) 2007].[6]王诚，薛小刚，钟信潮．FPGA/CPLD设计工具Xilinx ISE使用详解[M]．人民邮电出版社，2005（1）．[7]彭俊，基于FPGA的彩色恢复系统的研究.中国科学院研究生院，光学工程，2007.[8]来金梅，FPGA现状及其发展趋势[J]．2005(8)，22(9)：33－42．[9]田书成，基于CMOS图像传感器的宽动态、低照度一体化摄像机的设计.太原理工大学，通信与信息系统，2010.[10]XilinxInc.DirectDigitalSynthesizer(DDS)www.support.xilinx.com.[11]Dan Morelli  Modulating Direct Digital Synthesizer in  QuickLogicFPGA[J]. 2006, 11（23）：12－24.[12]苏光大. 微机图象处理系统. 北京：清华大学出版社，2000.7.[13]EDA先锋工作室．Altera FPGA/CPLD设计[M]．北京:人民邮电出版社，2005(7)．[14]张洪润,张亚凡.FPGA/CPLD应用设计200例[M].北京航空航天大学出版社.2009.[15]朱耀东，经亚枝，张焕春.基FPGA的一种高速图形帧存设计[J].电子技术应用.2003.[16]成英，FPGA产品市场现状与展望[J].电子设计应用.2004年12期.[17]刘方，基于Bayer彩色滤波阵列插值算法的研究。电子科技大学。2006.