增强现实技术在航空领域中的应用及展望

《增强现实技术在航空领域中的应用及展望》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

万方数据工程与技术ENGlNEERlNG＆TECHNOLOGY通过分析增强现实系统的关键技术和在航空领域的应用成果，探讨了增强现实技术在航空领域的发展方向，从应用角度阐明了增强现实技术在航空领域发展中的重要性。增强现实技术在航空领域中的应用及展望★AviationApplicationsandProspectofAugmentedReality◎赵新灿，郑州大学左洪福，南京航空航天大学+曲强现实(AugmentedReality，AR’，日是一种将虚拟物体和真实环境相结合，以达到为真实的场景提供信息扩展和增强的技术，借助光电显示、人机交互和可视化等技术产生现实环境中不存在的虚拟对象，并通过传感技术将虚拟对象准确地“放置”在真实环境中，利用显示设备将产生的虚拟对象和真实环境融为一体，呈现给用户一个感官效果真实的新环境，使用户从感官上确信虚拟物体是其周围真实环境的有机组成部分。增强现实技术使用户在关注真实世界的同时，根据需要访问虚拟世界，最终实现人一机一环之间的“最佳结合与协同”，是“计算以人为本，人一机一环合一”这一理念的产物。增强现实研究真正兴起是从20世纪80年代末到90年代初，随着科学技术的发展，增强现实技术不断完善，设备价格不断下降，推动了增强现实技术在医疗、制造、维修、机器人动作路径规划、娱乐和军事等领域的研究和应用。航空器是技术密集的大型复杂机电系统，使用和维修过程对人员技术和工具设备都有极高的要求，因此，以提高民航机务人员维修水平，降低维修难度为目标，开发一种以操作人员为中心，状态信息为“驱动”，诱导与操作同步，作业与训练同步的基于增强现实技术的维修辅助系统具有极其广阔的前景。增强现实系统关键技术增强现实系统的主要任务是进行真实世界和虚拟物体的无缝合成，为了解决真实场景和虚拟物体的合成一致性问题，必须在增强现实应用系统开发中解决好三大问题和3项关键技术。1．增强现实系统开发关键问题增强现实(AR)系统大致分为两类：视频透视式和光学透视式增强现实系统。AR应用系统开发的三大问题是如何解决真实场景和虚拟物体在几何、光照和时间方面的一致性问题。几何一致性问题就是解决虚拟物体和真★基金项目：国家863高技术计划基金(2006AA042427)国家自然科学基金资助(60672164)实场景在空间的一致性，是最基本的要求；光照一致性问题是虚实融合显示真实感绘制的要求；时间一致性问题是实时交互的要求。几何一致性问题：就是增强现实的三维注册问题，是指使虚拟物体与真实场景处于一个统一的坐标系中，并从同一个视点去观察，使虚拟物体和真实物体保持一致的透视变换和正确的遮挡关系。当用户转动和移动头部的时候，用户所感觉到的场景信息变化应是协调一致的。时间一致性问题：增强现实系统利用附加的图形和文字对周围的真实世界动态地进行增强，期望用户能够像在现实世界一样在增强信息空问自由活动，像和真实世界的物体一样与虚拟物体进行交互，要求系统具有较高的实时性。要达到AR系统与用户的实时交互，就要统一、高效地对AR设备和场景进行管理，支持协同工作。光照一致性问题：一致性的真实感渲染反映出AR系统对显示质量的要求，光照一致性主要关注的是真实场景中的光照或新加入的虚拟光照对场景23 万方数据工程与技术ENGINEERING＆TECHNOLOGY中的原有物体以及新加入的虚拟物体的作用，属于虚拟物体真实感绘制问题，包括明暗、阴影、反射等。光照一致性包含的技术问题很多，完全的解决方案需要场景精确的几何模型和光照模型，场景中物体的光学属性描述等。2．增强现实系统开发关键技术为了解决AR应用开发中面临的三大问题，必须攻关以下3项关键技术：(1)跟踪、定位与三维注册技术三维注册所要完成的任务是实时地检测出使用者头部的位置和视线方向，计算机根据这些信息确定所要添加的虚拟信息在投影平面中映射位置，并将这些信息实时显示在光学透视式头盔显示器的正确位置。在维修诱导、教育培训等应用领域，匹配精度至少要在毫米级，较大的注册误差将破坏用户对其周围环境的正确感知，改变用户在真实环境中动作的协调性。要实现精确增强现实三维注册，必须要有高精度的跟踪设备来保证。Dularch和Mavor曾得出结论：由于系统的不精确性和系统延时方面的限制，目前单一的跟踪技术不可能很好地解决增强现实应用系统的方位跟踪问题。国外著名大学和研究机构的研究人员提出采用混合跟踪的方法对增强现实系统进行跟踪注册。(2)自然人机交互技术增强现实特殊的人一机关系和交互方式需要新型的输入装置，目前主要有以下几种：特殊键盘和鼠标，主要有掌上键盘，可绑在手腕上单手操作；语音输入装置，这是可穿戴增强现实系统最重要和最有潜力的输入装置之一；摄像装置，微型摄像头可安装在眼镜、头盔、手套中，主要用于摄影、摄像、表情识别、手势信号输入等；传感器，实现特殊人机关系的关键器件之一，主要用于24感应环境因素的变化和人体各种生物信号；数据手套，主要用于手势信号输入。因此，高效的人机交互设备是提高增强现实系统性能的重要途径。(3)虚实融合显示技术增强现实系统实现虚实融合显示的主要设备是透视式头盔显示器(HMD)，分为光学透视型和视频透视型两类。在航空器维修操作环境中，作业人员必须能够看到真实世界，因此只能使用光学透视式头盔显示器。光学透视式头盔的显示器存在透过率偏低的问题，给使用人员的直观感受是戴上头盔后真实世界变暗，因此使用时对外部环境的光照要求较高；虚实融合显示需要解决的另一个关键问题是如何克服系统延时造成的动态显示误差。当用户的头部或周围景象、物体发生变化时，系统延时会使增强信息在真实环境中发生“游移”现象。航空领域增强现实系统的关键技术1．系统设计要求维修人员需要佩带全套硬件系统，系统尺寸、重量、功耗等均是制约系统性能的重要因素，应采取有效措施平衡解决；航空器维修基本在户外进行，各种干扰较大，故光照条件、天气、温度等环境因素要加以考虑；另外，由于HMD紧贴眼前，因此眼睛因长时间超近距离注视显示器的疲劳问题和穿戴者受系统电磁辐射的影响问题也需要专门考虑。根据设计学要求，可穿戴增强现实系统的基本要求为：穿戴方便舒适，重量轻、便于携带，使用方便，结构简单、紧凑、牢固、抗震动、耐高温，模块化、插接方便，性能可靠以及低能耗。2．系统信息组织和数据显示对复杂的大型飞机和航空装备而言，技术资料的组织和信息显示是非常困难的。在用户使用、维修、调试过程中，从整个系统描述到模块中每一组件的参数说明都是用户需要的信息，数据量巨大。在信息的组织过程中要保持信息数据的完整性，要从整体上描述各个部分和主要细节，使用户更好地了解、维护航空设备。信息数据的多样性是指信息数据格式和显示形式的多样化，为了使用户更容易地理解系统的信息数据，必须有不同的信息格式和显示样式，主要包括图形、文字、符号、标记、动画、虚拟样机显示等形式。3．自然人机交互方式可穿戴式增强现实系统通过多媒体、多通道交互技术感觉到穿戴者的状况和环境变化，通过特殊的人机交互设备和某些特殊用途的关键装置，将摄像、显示、语音等多项功能集成在一个眼镜或头盔中自主地做出响应，理解穿戴者的需要并提供服务，自动辅助或提醒穿戴者。系统追求以人为本，用于增强人的智能或增强人的感知能力，为建立新的人一机一环关系提供了可能，具有智能化、一致性和连续性的特点，其技术先进而复杂，具有挑战性。航空领域增强现实技术应用1．航空器装配与维修指导在航空维修和航空制造领域，增强现实(AR)系统有着出色的表现。20世纪90年代初期，美国波音公司首先将增强现实技术应用于飞机制造中的电力线缆的连接和接线器的装配，其研究成果最为引人注目。随后，奥迪和福特公司将增强现实技术用于汽车制造和飞机制造领域取得了很好的效果。2003年，德国Starmate系统和同期的Arvika系统的研制成功，预示了AR技术在复杂机电系统维修、装配领域的巨J砬_dil潜力。航空维修与z程2008／6 万方数据Starmate项目由欧洲共同体资助，由隶属于法国、西班牙、意大利的六家公司和一个德国的研究所共同实现。该项目主要有两个功能：指导使用者完成设备组装和维修工作；对使用者进行操作培训。图l所示，AR系统将装配维修工作流程指南按照工作进度准确地显示给用户，指导用户顺利地完成任务。对于用户而言，这些附加的文字、图像较之厚厚的安装手册更加生动、易于理解。Arvika项目是由德国联邦研究与教育部资助，主要针对飞机汽车的装配维修。欧洲宇航防务集团利用Arvika系统解决欧洲某型战斗机布线的问题成为一个经典案例。装配工人可以通过语音调用虚拟提示，轻松地按照每步的提示，在lm×6m板上完成高密度的布线工作。2．空中交通管制民航运输业高速发展，空中交通流量每年递增10％以上，日益繁忙的航路流量和航空港吞吐量，势必造成飞机密度增加、间距减小，使空中交通安全问题日益突出。传统的数据处理仅将单一雷达的飞行数据进行处理，有其局限性，也带来了一定的飞行目标检测的偏差。法国巴黎空管中心的科研人员将来自不同信源、相对于不同坐标系的数据利用增强现实技术叠加在航带上，从而扩大了监视和控制范围，提高了目标定位精度，保障了飞行安全，提高了空间区域的利用率。3．空间信息可视化多年来，军用飞机和直升机利用平视显示器或透视式头盔显示器将矢量图形和文字符号叠加到飞行员的视野中，提供导航和瞄准信息。AR系统的透视式头盔显示器可以让飞行员在看到战场的实际景象的同时，显示红外或夜视图像，以及指挥部用远程通信的方式传来的各种侦察信息、指挥命令、对特殊情况的帮助等。多伦多大学的研究人员开发出一套增强现实系统，该系统通过在立体视频图像上添加虚拟图形来实现增强效果。图4显示的是航天飞机上增强图1增强现实系统用于发动机维修图2增强现实系统用于飞机布线图3增强现实技术用于空中交通管制图4增强现实显示航天飞机内部结构航空维修与z程2008／6WIWW．aviationnow．corn．cn显示的框架线。这些框架线使得观察航天飞机的几何结构变得更加直观、容易理解。与此类似，虚拟增强图形图像也能够用于在观察条件非常差的情况下(例如水下、大雾中)，辅助导航或加强对场景的理解。4．航空器的规划与设计增强现实技术对未来产品的设计与制造也精避蝴黜影响。产品设计经历了从手工画图到计算机辅助设计(cAD)的发展过程。在CAD中采用增强现实技术，将真实物体与虚拟渤体绪俞如女晓断亍虚拟产品开发(VPD，VirtualProductDe—velopment)，能够对虚拟物体进行构思、设计、制造、测试和分析，使得发动机这类复杂机电系统的设计和更改变得更容易，从而大大推动航空科技的发展。飞机驾驶舱显示和控制设备数目多，布局复杂，在早期设计阶段既要满足相应的功能、又要符合人机功效和安全的要求，德国的科学家在传统的设计优化和评价方法的基础上，通过AR技术，将设计对象信息和真实世界的某一视点所感知的图像相融合并目．形象化展示，反馈给设计人员，为航空器内部设备的规划和评价提供了新的更为科学的辅助手段。结论国内在增强现实技术方面的研究起步较晚，在航空制造及维修领域的AR技术研究和应用仅仅在起步阶段。研究以可穿戴计算为基础，以移动网络为支撑，以可穿戴计算机系统为平台，以人为中心，以增强人的能力和辅助人为目的的移动增强现实技术具有重大的工程实用价值和应用前景，该项技术将极大推动我国军民用飞机、航天、汽车、船舶、建筑及工程建设等复杂系统领域的发展，并将产生重大的社会效益和经济效益。口25 增强现实技术在航空领域中的应用及展望作者：赵新灿，左洪福作者单位：赵新灿(郑州大学)，左洪福(南京航空航天大学)刊名：航空维修与工程英文刊名：AVIATIONMAINTENANCE&ENGINEERING年，卷(期)：2008(6)本文链接：http://d.g.wanfangdata.com.cn/Periodical_hkgcywx200806012.aspx