基于大数据应用的环境数据资源中心设计研究

《基于大数据应用的环境数据资源中心设计研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于大数据应用的环境数据资源中心设计研究(申请清华大学工学硕士学位论文)培养单位：环境学院学科：环境科学与工程研究生：张哲指导教师:常杪副教授二○一七年六月ResearchontheDesignofDataCenterofEnvironmentalInformationBasedonApplicationsofBigDataThesisSubmittedtoTsinghuaUniversityinpartialfulfillmentoftherequirementforthedegreeofMasterofScienc

2、einEnvironmentalScienceandEngineeringbyZhangZheThesisSupervisor:ProfessorChangMiaoJune,2017摘要摘要当前我国各级环保机构在存在数据不共享、业务衔接不流畅等问题，极大地降低了日常环保管理工作的效率。随着信息化技术的发展，大数据技术正逐渐成为优化管理、整合数据的重要手段，国家不断出台相关政策鼓励各级政府开展环保大数据建设工作。建立大数据背景下的环境数据资源中心是发展环保大数据的基础前提，如何设计环境数据资源中心架构是当下关注的热点。本

3、文通过对大数据的特征分析，结合现有环境数据资源中心内容，提出大数据背景下环境数据资源中心的定义和框架。通过部门访谈及现场调研等方式，对福建省、新疆自治区、佛山市、顺德区等国内各级环保机构的环境数据资源情况进行深入研究，并结合国家及各省市相关环保文件，总结我国当前环境数据资源状况。我国当前环境数据资源主要分为环境监测数据及管理业务数据两大类，环境监测数据规模小，覆盖率低；环境管理业务数据彼此割裂，缺乏共享机制。根据大数据时代要求，本文提出环境数据资源优化建议。通过加强生态环境监测网络建设，以“一证式”改革衔接优化各项管理

4、制度，加强与外部门数据沟通共享，收集互联网数据，为环境大数据工作开展打下基础。本文根据环境数据资源中心的定义，分别对环境数据资源中心的数据体系、大数据管理平台及应用场景进行具体设计。基于球网状信息结构梳理环境数据，形成包含信息来源、时效性、表现形式等数据特征的环境数据体系。根据各类环境数据特征，设计对应的数据接入、存储及分析支持体系，构成大数据管理平台。管理平台采用Hadoop框架，有利于海量数据的存储与非结构化数据的利用。结合国家相关政策要求及当前环保工作现状，梳理环境大数据在环境决策、监管及公众服务三方面的应用场景

5、，形成完整的数据资源中心框架。本文选择福建省对上述环境数据资源中心框架进行应用，为福建省生态云平台建设打下基础。在对福建省环保厅现阶段已有信息系统开发情况及环保业务对应的环境数据产生现状进行梳理的基础之上，对其按照本文所述设计框架对福建省环境数据中心进行具体设计，并设计开发包括决策、监管、公众服务在内的各项环境大数据应用。福建省现正应用本文所提出的数据资源中心框架进行生态云平台建设，成为我国率先开展环境大数据建设的省份，为我国环境数据资源中心的建设提供了依据。关键词：环境数据资源；数据资源中心；分布式存储；环境管理体系

6、IAbstractAbstractTherearesomanyproblemsduringtheenvironmentalmanagement,suchasthecongestionofsystemconvergenceornon-sharedbusinessdata,whichreducestheefficiencyofroutineenvironmentalmanagement.Withthedevelopmentofinformationtechnology,thebigdatatechnologyisgradu

7、allybecominganimportantmethodofoptimizingmanagementandintegratingdata.Thegovernmentcontinuestointroducerelevantpoliciestoencouragealllevelsofenvironmentalprotectiondepartmentstocarryoutbigdataconstructionworkofenvironmentalprotection.Theestablishmentofdatacenter

8、ofenvironmentalinformationunderthebackgroundofbigdataisthebasisforthedevelopmentofbigdataofenvironmentalprotection.Basedontheanalysisofcharacteristicsofbigdata,combin