面向大数据的指挥决策系统模型研究.pdf

《面向大数据的指挥决策系统模型研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、山西电子技术研究与探讨2015年第1期文章编号：1674—4578(2015)Ol一0085-03面向大数据的指挥决策系统模型研究程龙军(国营第七八五厂，山西太原030024)摘要：随着高技术在指挥作战中的不断应用，军事领域的大数据时代已经到来。传统的数据处理已经无法满足对海量异构数据的深度分析，云计算为大数据分析提供了必要的存储、管理及计算等解决方案。本文结合大数据特征，利用云计算及数据挖掘技术，提出了基于Hadoop的指挥决策系统模型，以提供高效、可靠的即席分析。并最终建立服务于作战指挥决策的大数据分析生态系统。关键词：

2、大数据；深度分析；云计算；数据挖掘；即席分析中图分类号：TP311．13文献标识码：A文献概述了数据挖掘在军用指挥控制系统中的应1．4价值性(Value)用；郑向阳将数据仓库运用于消防信息化建设；薛超等大数据的根本意义在于发掘数据内部具有指导性价值进一步结合数据挖掘及OLAP，倡导建立基于数据仓库的作的模式或知识。而相对于海量的多源异构数据，大数据价值战指挥决策支持系统。但大数据分析呈现出数据量更大、查表现出一定的稀缺性及不确定性。因此，如何高效、准确的询分析更加复杂等特点，而传统的数据仓库应用中，ETL进行大数据的挖掘成为

3、了亟待解决的问题。过程复杂、耗时，无法满足即席分析的需求，且面向主题构建2云计算的数据仓库灵活性不佳。因此，以计算为中心向以数据处理所谓云计算，即围绕低成本、高可靠、高可用、规模可伸为中心的思维转变成为必然J。缩等研究目标J，向用户提供按需的、透明的服务的虚拟化本文针对大数据的物理特征，提出基于Hadoop的指挥分布式自治性计算架构，其体系架构如图1示。决策系统模型，旨在通过构建面向多源异构数据的大数据分析架构，结合数据挖掘技术，以解决RDBMS在大数据分析扩展性方面的瓶颈，最终实现通过较低成本投入而达到较高效的深度分析的目

4、的。1大数据大数据是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合。”业界通常用4个V来概括大数据的特征，即：1．1规模性(Vdume)大数据所显现出的最直接特性即为该集合数据量的巨大。理论上，这种规模性也在一定程度上使得大数据具有特殊的领域性，即某1GB的数据集也许在Web挖掘中不算大规模数据，而在科学计算中却可谓货真价实的BigData。1．2多样性(Variety)相较以文本为主的关系数据，结构化、半结构化以及非结构化数据共同构成了大数据集合，且半结构化及非结构化数据占有相对较大的比

5、重。大量的多源异构甚至非结构化数据增加了深度分析的复杂度，使得并行数据库技术难以突破扩展性这一瓶颈。图1云计算体系架构1．3快速性(Vdoci~)为应对数据洪流，云计算提供了支持大数据存储、管理区别于传统的数据挖掘，大数据体量及增量的爆炸式增以及数据分析等的解决方案，具体表现为：长要求数据产生后可以及时的被分析、消费并呈现，即数据1)数据存储的实时性需求决定了即席分析与决策的必要性。为保证海量数据的高可用、高可靠和经济性，并考虑到收稿日期：2014—10—22作者简介：程龙军(1985．)，男，山西稷山人，助理工程师，本科，

6、目前从事电子设计工作。86山西电子技术2015年存储系统的I／O性能，云计算环境中采用分布式存储的方式在大数据分析与处理过程中，Map实现对各分块数据的来存储数据。采用数据分块及冗余存储，通过增加副本拷贝处理并产生中间结果，Reduce完成对中间结果的归约。即开销以保证存储数据的可靠性；构建廉价服务器集群，达到Map—Reduce极大的简化了分布式编程，将程序开发者从繁较高的经济性；利用容错技术解决存储节点时效，实现系统杂的并行程序设计及高可靠性与可扩展性解决方案的构建的高可用性。中解放出来，为其专注于应用本身的开发提供了可

7、能。具有代表性的数据存储实现为Ghemawat等人为Goosh3基于Hadoop的指挥决策系统模型·设计的GFS(GooshFileSystem)其执行流程如图2。针对指挥决策系统所表现出的大数据特性，本文结合云计算及数据挖掘技术，利用Hadoop平台，期望搭建面向指挥作战的大数据分析生态系统，其模型架构如图4示。图2GFS执行流程图如图2示，GFs中共包含三种节点：总控服务器节点(GF'SMaster)，数据块服务器节点(GFSChunkserver)以及客户端节点(GFSClient)。其中，在GFS中，文件被划分为大小

8、一定的数据块，由Master节点创建并分配其全局句柄(Chunkhandle)，并由Chunkserver节点以副本的形式冗余存储于各计算节点，统一由元数据管理节点管理。当Client节点请求访问数据时，由Master节点获取其句柄Chunk并返回与之映射的Chunkserver，最终完成