航遥应用案例

《航遥应用案例》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

基于STORNEXT软件构建SAN存储局域网环境下并行共享文件系统及数据迁移归档系统应用案例中国国土资源航空物探遥感中心对地观测实验室黄炜周伟张渊 国内当前大规模使用StorNext异构文件共享及自动数据归档系统的航遥中心数据存储及处理系统，目前在中国国土资源航空物探遥感中心所投入使用，应用系统包括：遥感影像数据库、全国矿产资源开发多目标遥感调查和监测信息系统、全国省级国土资源遥感综合调查信息系统、青藏高原地质信息系统、航遥中心资料服务系统等。航遥中心数据存储及处理系统采用昆腾公司的StorNext并行共享文件系统及数据归档系统3.1版本（200个计算节点许可、4个IO节点许可、500TB迁移归档许可）作为SAN储存的数据并行计算存储管理架构，集成了60TB惠普XP24000SAN储存系统，昆腾i2K高性能磁带库（2台磁带库，单台实际配置：256TB，配备6台高速LTO-4机密磁带驱动器，300磁带槽位），是国内处理效率最高、系统配置最优、技术先进、文件共享性能卓越的航空遥感资料处理系统。该处理系统满足航遥中心了遥感数据存储、管理、分发等的应用要求。随着该处理系统的投产，其所具备的“自动化数据存储管理”﹑“大容量数据的存储和共享”﹑“自动的数据异地容灾技术”等功能，必将满足对数据的长期稳定、安全、统一存储管理和维护航遥中心核心数据的最迫切的需求。面临的严峻挑战中国国土资源航空物探遥感中心是中国地质调查局直属的事业单位，主要职责和任务是承担国土资源航空物探、遥感调查和相关技术研究、应用与推广工作，承担着我国大陆和海域的航空物探、卫星遥感以及大部分国土的航空遥感重任，是国家甲级测绘单位，全国地质勘查功勋单位，为我国许多大中型固体矿产和主要油田的发现做出了重要贡献。进入“十一五”，航遥中心的遥感探测任务面临着严峻的挑战，探测的对象越来越复杂，遥感采集的数据量成倍增长；如何提高数据的共享效果，加快数据的处理流程，组建初步的数据容灾技术，成为航遥在组建信息系统时的迫切技术需求；而航遥中心在建和完成的遥感数据库和专业应用系统处于分散存储的状态，不利于数据的整合和共享，无法满足新环境下对数据处理的要求，需要一个集中的基于数据库管理系统的存储解决方案。经过充分的技术调研和方案论证，决定采用基于IA架构的高性能服务器集群系统。刀片服务器群是随着CPU、网络、系统集成技术和Linux的发展而出现的新的 高性能计算平台。由于价格和性能等因素使刀片服务器集群被越来越多的用户所采用。而这些高性能刀片服务器集群则是透过使用StorNext并行共享文件系统及数据归档系统来充分使用并共享惠普XP24000SAN储存系统，使得服务器集群有效而经济地进行文件分享及数据归档，大大降低了储存成本和促进了工作程序的快捷。在航空摄影数据暂存和在线应用、历史资料的集中存储管理，尤其在遥感数据库和专业应用系统得到了很好的应用，提高了航遥中心遥感数据存储、管理、分发的效率。优选的系统配置方案本着“系统配套、结构合理、技术先进、性能高效”的原则，根据航遥数据处理的实际需求以及数字摄影测量系统软件对硬件运行环境的技术要求，最终选用了利用最新的CPU技术、网络技术、光纤技术、StorNext并行共享文件系统及数据迁移归档系统和开放的工业标准而提出的高性能计算解决方案和基于物理磁带库的建设方案。该方案由作业系统服务器、全线速千兆（万兆）以太网络、SAN存储磁盘阵列、StorNext并行共享文件系统、数据迁移归档系统和高容量物理磁带库组成,它的实施使的航遥中心在遥感资料处理和共享及数据自动保护上达到国内先进水平。 StorNext文件共享及数据归档系统解决方案具有下列优良特性:l可用性好-遵循先进的工业标准设计理念，广泛支援目前市场上所有流行的操作系统系统平台，包括了航遥数据所目前运行的主流的Windows/Linux/HP-UX等操作系统版本；l性能价格比高-透过2台StorNextMDC服务器及3台StorNextSAN客户端作为I/O节点，使的作业用服务器集群的计算节点有效地以WINDWOS上CIFS服务使用并共享StorNext文件系统，按照所制定的500TB数据迁移归档策略来有效节约SAN储存空间，及对资料作自动的归档备份，增进资料的保护和安全；l良好的可管理性-透过网页图形介面，显示StorNext文件共享系统和数据迁移归档的管理选项，及系统使用状况一目了然，使日常StorNext系统管理更容易；l自动的数据容灾-通过配置2台Scalari2000物理磁带库，磁带库在本地通过光纤线缆连接到核心的SAN交换进，在StornextSNMS的集中管理和统一策略调度下，被迁移的数据会自动被存储到2台物理磁带库的不同磁带中，实现关键业务数据的自动镜像保护。l完善的服务支持-昆腾公司StorNext软件的专门的服务支持团队，提供了24小时的全球软件技术服务支持，StorNext的系统自动警报服务，能於系统发现了警告或错误信息时自动以电邮及弹起的信息通知StorNext管理者，使之在第一时间知道及解决问题，降低了系统维护成本。服务器集群航空遥感资料处理系统配置方案：作业用服务器系统采用刀片服务器架构。整个系统由常规应用节点、数据库服务器、I/O节点、核心交换网络和磁带库系统组成，并安装了RedhatLinuxAS4.1版本操作系统等系统软件。常规应用节点：采用6台HPProliantBL460C刀片服务器，千兆网络端口直联。刀片服务器采用2个Intel的2.4GHzDP处理器，实配24G内存。 数据库服务器：采用2台IBM3650服务器，2个Intel的2.4GHzDP处理器，实配24G内存，集成RAID卡。数据库服务器主要提供对所处理文件的文件位置定位查询和处理。I/O节点：采用3台HPDL580G5服务器，配备主机通道（HBA）卡与SAN存储系统的光纤交换机连接。HPDL580G5服务器采用4个Intel的3.66GHzMP处理器，具有64位4GB以上寻址空间，集成RAID卡，支持磁盘热插拔，4个内置千兆网卡，2块4GB光纤HBA卡。元数据服务器：采用2台采用双机热备的HPDL580G5服务器作为StorNextmetadatacontroller服务器，安装Linux操作系统，作为整个文件系统及数据迁移归档系统的系统管理平台服务器。。核心交换网络：采用1台CISCO6509以太网交换机。支持1.54Tbps的交换容量，提供4个万兆光纤端口、48千兆光纤接口，48个千兆以太网电口，实现计算节点间的千兆无阻塞互联。提供网络端口汇聚功能，增加了数据传输带宽。配置了11台cisco3750G千兆以太网交换机，各通过多个千兆端口汇聚上联到核心交换机。物理磁带库系统：采用2台Scalari2000企业级物理磁带库，磁带库单台实际配置240TB可用容量，6台LTO4高性能高速驱动器；磁带库通过SAN连接到核心FC交换机上，在SNMS软件的介入和统一管理下，实现关键业务数据的自动迁移和数据异步容灾。管理网络：采用1台cisco千兆网络交换机，进行管理数据流的传输交换。系统软件：在服务器上安装了RedhatLinuxAS3.5和RedhatLinuxAS4.1版本操作系统、Windows2003、StorNext并行共享文件系统及数据迁移归档系统软件，CMU和SIM集群管理及监控软件，利用iLO管理技术，实现服务器集群的远程管理。支持MPICH、PVM并行开发环境以及GNUJava、C、C++和Fortran编译器，为航遥中心数据存储及处理系统应用软件的高效运行和二次开发提供了良好的运行环境。 数据自动迁移的基本流程无人职守的自动迁移―SNSM迁移软件不断对磁盘阵列的存储空间进行监控。当磁盘空间达到预定的饱和度时，SNSM开始将不常使用的文件转移到磁带库中。转移过程持续进行，直至磁盘的占用率达到预定的下线为止。这时，磁盘空间已经足够使用。如果管理员预计在特定时间内将有大量新的数据迁入，也可手工起动转移过程。转移后的文件被很小的“占位”文件所代替，由该文件指向原文件被转移后的新位置。而这个占位，实际上是真实文件的索引头，真正的文件数据体已经被迁移到物理磁带库上了。灵活的配置――SNSM管理员可以利用大量的参数来确定可转移的文件。例如，以备访问时间或文件大小等参数作为判断迁移文件的选择方式。对被转移数据的透明访问――SNSM会在磁盘上留下一个占位文件。因此该文件对于应用和用户依然是可见的。一旦SNSM接受到对被转移文件的请求，它会从最快捷的途径进行检索，以透明的方式恢复该文件。假设在访问某些文件时，而此文件已经被迁移到磁带库上后，那么SNSM立刻触发磁带库mount磁带，自动将数据从磁带库回迁到磁盘阵列上供业务主机访问。多层次转移――SNSM支持多层次转移。在本项目中使用HP企业级磁盘阵列的存储空间作为主存储设备，新购磁带库作为近线存储设备。可以将数据自动从HP企业级磁盘阵列自动迁移到新购磁带库中,且迁移时的数据同时2份保存在2台新磁带库中。2份磁带库的数据通过FCSAN高性能构成双保险的RAID1读写模式，所有关键数据都是双份的。应用效果例如基于该系统航遥中心将现存在磁带、磁盘、光盘、胶片上的各种航空物探资料、遥感飞行数据、卫星影像数据通过航遥中心资料服务系统进行统一管理，所有数据通过在线磁盘阵列上的stornext文件系统，在和数据库作关联后按照每两小时迁移的策略将大于10M的文件迁移至磁带库（为保证回迁速度，将文件大小预设为10M），目前已管理的近50T的数据在源文件系统空间 中只留下70G左右的小文件及相关索引。如资料借阅人员需访问特定数据，管理人员将数据回迁后放入文件系统的特定文件夹设置相应权限提供下载。该系统为航遥数据中心在大数据量处理﹑共享﹑保护上奠定了坚实的技术基础。方案所取得的基本效果如下：l使并发数据流成为可能：由于采用SAN文件共享方式，实现了多台服务器对同一文件的数据块级访问；l加速了线性工作流程：由于通过SNFS实现了应用系统中的各服务器直接通过SAN网络访问磁盘阵列中的数据，解决了大文件共享的问题；l降低了LAN网络的数据流量：由于SNFS中，服务器对文件的访问过程中，仅少量控制数据量通过LAN通讯，而文件数据流均通过SAN，大大降低了对业务系统LAN网络的带宽占有；l极高的数据访问性能：由于SNFS系统中，服务器对数据的访问采用本地I/O方式，性能基本能够达到光纤通道的线速，大大高于其他数据访问性能。l自动的数据迁移和镜像保护功能：在SNMS的介入下，根据策略，数据自动被迁移到物理磁带库上，重要的数据将被自动写入到镜像磁带库中；数据的迁移和回迁均是透明的。