浅谈地震资料处理系统中存储技术需求

《浅谈地震资料处理系统中存储技术需求》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、浅谈地震资料处理系统中存储技术需求［摘要］地震资料处理系统是按照作业序列以紧耦合的结构化大块数据体为对象进行密集计算的高性能计算系统。在叠前偏移成像等大数据密集计算处理作业日益增多的情况下，存储系统性能对地震资料处理系统效率影响突显。通过分析地震数据处理系统的数据访存特点，提出以数据访存带宽性价比为主要因素，有针对性地选用存储新技术，构建适用性良好的存储子系统，以满足复杂地质条件下地震资料成像品质对高性能计算系统的数据访存需求。［关键词］计算机系统结构；存储系统；地震资料处理系统doi:10.3969/j.issn.1673-0194.201

2、4.02.063［中图分类号］TP391；P315.63［文献标识码］A［文章编号］1673-0194(2014)02-0124-020引言新疆油田勘探开发研究院自2004年引入大规模PC集群地震资料处理系统，一直关注存储系统架构与地震资料处理的数据访存特点匹配，以期提高系统生产效率。应用面向对象的并行共享存储系统，在一定程度上解决了资料处理系统中相对低效的数据访存和节点高效计算能力的匹配矛盾，与CPU技术的快速进步和万兆以太网以及Infiniband网络的发展相比，处理集群中存储系统的性能依旧相对滯后。存储技术处在发展变革前沿，结合地震资料

3、处理系统中数据应用特征和生产组织方式，有针对性地选用存储新技术，构建适用性良好的存储系统，提高以逆时偏移技术为代表的新成像方法的系统应用效率，有助于满足复杂地质条件下地震资料成像品质需求。1存储技术发展固态盘技术和云存储技术的发展代表了存储技术的发展趋势，并称为下一代存储技术。1.1固态盘技术简介态盘(Solid-StateDriver)是指利用电子部件取代传统磁盘磁介质进行数据存储的电子设备。固态盘内部没有旋转马达，不存在转速提升或下降的启动时间，与传统磁介质硬盘相比，在I0PS性能、时延、平均无故障时间(MTBF)、节能等方面有明显优势。

4、目前固态盘的推广应用受限于性价比和性能老化两大因素。固态盘的I/O性价比已优于高端光纤存储盘阵，但在容量性价比方面仍存在较大差距。在频繁随机大小数据写入的应用场景下，由于写操作特性，固态盘在使用一段时间后会出现性能陡降，需要对固态盘进行初始化或更换，性能老化影响了固态盘的便捷应用。尽管存在诸多争议，活跃的技术创新一直在加速推动固态盘的普及应用，大容量PCIe固态盘缓存在服务器的应用以及利用后端存储固态盘为服务器提供高效缓存的应用，都在推动固态盘向基础架构的各个层面渗透，固态盘改变了以磁介质硬盘为基础的存储架构体系。1.2云存储技术简介云存储是

5、指通过集群应用、网格技术或分布式文件系统等功能，将网络中大量不同类型的存储设备集合协同，对外提供数据存储和业务访问的云计算系统。国际存储网络产业协会（SNIA）提出的云数据管理接口（CDMI）定义了云存储管理基础架构，保障接入不同云存储接口的通用性。云存储需要多种技术协同实现动态按要求提供服务，主要有统一存储、自动分级存储、存储虚拟化、分布式文件系统、Scale-out横向扩展、固态盘缓存、压缩/重复数据删除等技术。云存储面临大数据高并发混合负载服务请求的压力，在满足高并发的同时，需要满足海量数据存储，这放大了存储性能和存储容量均衡性要求。自

6、动分级存储技术和固态盘缓存技术是目前解决云存储性能、容量和性价比三者矛盾的热点技术。自动分级存储技术根据数据使用特点将数据在不同磁盘类型和RAID级别间进行迁移，可以均衡存储在性能和空间的平衡。但是数据迁移策略通常是数据应用长期累积的经验值，而业务应用多变又使经验值难以固化，造成自动迁移实施复杂度较高。相比自动分级存储技术，利用服务器上的固态盘作为大容量磁盘阵列缓存，可以降低对存储系统IOPS性能的要求，提高数据读取性能，但是需要与应用系统相适应的缓存算法支持。云存储各项技术的推进改变着存储体系架构，固态盘存储介质的突破固然对存储体系产生较大

7、影响，但分布式文件系统、缓存算法和软件内核优化等软件因素对存储体系架构将产生更大影响。2地震资料处理系统数据特点分析进入处理系统的初始数据在数据特征上表现为紧橘合的结构化块数据。依据目前典型的野外数据采集方式，对于单个三维区块资料处理作业，进入系统的初始数据通常为5TB大小，完成各类典型处理步骤，大约需要6倍于初始数据的存储空间。在研究复杂地质构造时，随着采集密度的进一步提高，未来用于盆地整体解剖与研究的单个三维区块初始数据将达到100TB以上。处理系统需要较大的存储空间以支持一个完整的资料处理作业周期。从地震数据处理角度看，要完成的作业任务

8、分为常规批处理和叠前偏移成像两个典型阶段。常规批处理阶段要求在限定时间内用相对较少的计算资源，按序分步完成资料常规处理中各环节的数据分析与计算，特点是作业前后结果相