大数据分析在城市照明管理系统中的应用.pdf

《大数据分析在城市照明管理系统中的应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第14卷第5期软件导刊V_0I．14NO．52O15年5月SoftwareGuideMRV．20l5大数据分析在城市照明管理系统中的应用李今(上海五零盛同信息科技有限公司软件部，上海200063)摘要：城市照明监控历史运行数据往往蕴含着大量的潜在信息和知识，人们迫切需要对有价值的数据进行深度挖掘，并将获得的成果应用于运行状况评估、异常预警和运营参数调优中。基于城市照明监控历史运行数据，提出了一种基于大数据分析技术的应用方法，对海量运行数据进行聚类分析，以及对场景模式进行划分得到判别决策树，并对实时监测过程中的动态数据进行离群点分析，从而判别当前设备

2、运行状况。结合应用实例对模型进行合理性验证，证明了该方法的可行性。关键词：大数据分析；聚类分析；判别决策树；离群点分析DoI：1O．11907／rjdk．1431O65中图分类号：TP301文献标识码：A文章编号：1672—7800(2015)005～0001—040引言1大数据分析理论随着社会的不断进步和计算机技术的快速发展，信大数据分析理论指从海量数据中分析和挖掘出知识息系统在各领域快速拓展，系统采集、累积和处理的数据的方法，本文主要采用聚类、分类等方法。越来越多，信息增速也不断加快，这也预示着大数据时代1．1数据仓库建立已经到来。麦肯锡认为，

3、“大数据”指所涉及的数据集规进行大数据分析前必须收集待分析的数据资源，虽然模超过了传统数据库软件获取、存储、管理和分析的能数据挖掘可直接从操作数据源中挖掘信息，但建议从专用力E1]。性和可靠性角度考虑，不采用原有的数据库或数据结构，虽然现实世界产生的数据量不断增长，但其中可理而是将待分析数据存人数据仓库中。解的比例却不断下降，人们迫切需要对大数据进行分析，数据仓库是一个集成、相对静态、面向主题的数据集以了解海量数据背后的重要信息和知识，大数据分析技合，通过建立数据仓库，可将异种数据源中的数据通过集术应运而生。大数据分析是基于IT技术、数据挖掘、统成

4、，从而构成语义上一致的数据存储体系结构，它可按不计分析等多门学科的成果应用，通过从海量数据中分析同的主题划分管理决策所需信息，为查询、分析和决策打出有效模式，获取存在的关系和规则并对发展趋势作出下基础。预测，这也是大数据生态环境中的最重要一环——使数1．2特征提取据产生价值。数据仓库中的集合包含了大量特征，为了通过聚类分经过城市照明管理行业20多年的快速发展，路灯远析发现潜在的运行模式，需要从序列数据中提取反映运行程自动化监控技术有了很大提高。监控系统每分钟都会情况的重要特征向量。产生实时监控数据，运行至今的系统大都已经存储了庞大这主要有两方面的工

5、作：一方面为了让模型更容易理数据，它们记录了照明监控设备的运行状况。但是人们更解，需要降低数据集的维度，删除不相关的特征并降低噪关心它们背后隐含着的知识和信息，这些“数据”中的“数声，使大数据分析算法效果更好；另一方面通过创建新属据”可用于运行状况评估、异常预警和后续运营参数调优，性，将一些旧属性合并或创建新的属性，这样可更有效地对照明管理部门降本增效、不断改善服务质量具有积极指捕获数据集中的重要信息。导意义。由此可见，大数据分析技术应用于城市照明管理最常使用的特征集提取技术都是高度针对某一具体行业尤为迫切和必要。领域，一旦大数据分析用于其它领域，

6、首要任务就是找到作者简介：~．(1982一)，男，上海人，硕士，上海五零盛同信息科技有限公司软件部工程师，研究方向为软件项目管理、软件系统设计与开发。．2．软件导刊2015年新的特征并进行特征提取。准，获得最终的决策规则。1．3数据预处理各属性的信息增益率可由式(4)求出：由于待分析数据可能存在数值区间范围较大、且不同Cai”RatOn(s，A)一丽Gain(S,A—)(4)时间段内变化快的问题，因此在大数据分析之前必须使用其中，S为数据集，A为分割属性，Cain为信息增益，转换方法进行标准化处理。Slitlnfo为分裂信息量。分裂信息量可由式(5

7、)求出：数据标准化转换也是大数据分析中常见的转换措施之一，它通过将数据按照比例进行缩小，使之归人一个较SplitIf。一∑。gz÷(5)小区间范围内，为数据分析建立相对平等的基础。标准分其中，S为数据子集，S为分割属性，c为数据子集样数(Z_score)是一种数据标准化的重要方法，能够真实地反本数]。应一个分数距离平均数的相对标准距离，标准分数可由式1．6离群点检测(1)求出：离群点是数据集中与正常点有较大差异的那一类数Z—X-／z(1)据点，在数据点中找出异常点是离群点检测的主要任务。离群点检测在大数据分析中有重要应用，它采用基于距离其中，x为被

8、标准化的数据，为数据集的平均值，的异常点检测算法，以欧式距离为衡量标准，找到脱离给为数据集的标准差。Z值代表着原始数据和数