大数据在智慧城市中的应用探析

《大数据在智慧城市中的应用探析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大数据在智慧城市中的应用探析高静1韦芳1毛贤光2、31.广两通信规划设计咨询有限公司南宁530007；2.南宁市城乡数字化建设办公室南宁530028；3.南宁市城市应急联动中心南宁530021摘要：智慧城市是在信息技术的支撑下发展而成的一种新城市形态，信息共享、智能响应及合作协同是其主要特征。要实现当前智慧城市的互联化、智能化发展，将多源、异构的大数据转化为数据资产便成为了其中一项有效的途径。为对大数据在智慧城市中的应用进行探析，木文特针对当前智慧城市的数据资源及大数据处理技术进行了相关阐述，仅供参考，欢迎批评指正。关键词：大数据；智慧城市；应用.1八—刖目当前有关

2、城市运行体征的数据的收集大多通过大数据技术实现，作为支撑智慧城市发展的重要信息资源，大数据不仅可对城市管理数据进行汇总与分析，同时还可对城市体征的量化形态进行管理，对智慧城市的稳定发展可起到重要的推动作用［1］。从某种意义上说，大数据与智慧城市呈相互关联、相辅相成的联系状态，大数据可促进智慧城市衡量指标的实现，同时智慧城市的发展也推动了大数据的应用。木文特对大数据在智慧城市中的应用进行了分析，现总结如下。1.智慧城市的相关特征(1)感知与互联。对于智慧城市而言，其物理空间可通过智能传感器进行全面的感知，同时还可实时监测城市核心的运行系统。在互联网技术的影响下,智能传

3、感器的网络可得到有效连接，从而可完成对数据的智能存储、管理、应用等操作［2］。(2)重视基础建设。智慧城市的基础设施大多可通过融合互联网、物联网、卫星传感器及整合多源异构数据等途径来实现，对于智慧城市稳定、健康的发展可起到一定的保障。(1)协同与智能。智慧城市通常可通过对新型服务体系与服务模式的构建来挖掘、处理各类数据，并根据层次的不同来提供不同的智能化服务，对智慧城市各要素、单元、系统的高效运行可起到协调的作用。(2)推动创新。智慧城市通常在不断加强信息基础建设的基础上，还会大力鼓励与推动各级主体、各种形式的创新应用，从而实现对城市经济、文化等各方面的推动。1.智

4、慧城市的数据资源与技术2.1数据生命周期管理数据生命周期管理的主要职能在于对智慧城市业务数据的各个阶段进行监控与管理，从而对数据的共享性、完整性、有效性及可靠性形成-定的保障，由此将决策分析系统提供给上层。(1)数据的共享性。通过对主数据管理技术的应用，可实现各系统间关联性的有效加强，以此消除“信息孤岛”，保障所建立数据源的规范性和统一性，完成数据共享。(2)数据的完整性。通过对元数据管理技术的应用，可建立起完整的信息资源规范，从数据格式、源头、服务等各方面出发，以对数据的完整性形成保障。(3)数据的可靠性。通过对数据清洗技术的应用，可对脏数据进行冇效的清除，从而对

5、数据的质量形成保障。(4)数据的有效性。通过对在线存储、近线存储、归档存储等技术的应用，可对数据进行归类分析与存储，从而对数据的有效性形成保障。2.2大数据采集大数据采集的主要职能在于通过在网络、媒体流、tl志信息及传统应用等途径获取相关数据，并以此实现在智慧城市场景中大数据的获取［3】。(1)网络数据获取。这一获取方法主要是通过网络爬虫等互联网搜索引擎技术来进行数据抓取，具有一定的行业性、针对性及精准性，冋吋根据相关的筛选标准与规则对数据进行归类，以形成数据库文件。(1)媒体流数据获取。这一获取方法主要是通过集群的方式将媒体流接入服务，并为每个接入源动态设置一个相

6、应的存储服务器，以分布式文件的方式实现音频、视频等相关数据的落地。(2)日志信息获取。这一获取方法主要是通过Chukwa、Scrib、Flume等成熟分布式框架来实现日志信息的分布式收集与统一处理。(3)传统应用数据获取。这一获取方式主要是通过ETL将关系数据、平面数据等异构数据抽取至临吋中间层，并进行清洗、转换与集成，最后，以定义好的数据模型为参照，向B标数据库加载数据即可。2.3大数据存储大数据存储的主要职能在于通过对CAP原则的利用来分析大数据，并由此进行适当存储方案的选择。(1)数据存储硬件。分别为云存储、SAN存储及本地存储。(2)数据存储技术。分别为No

7、-SQL数据库、关系型数据库、分布式文件存储、列式数据库及实吋数据库等。2.4大数据处理(1)计算技术。Spark内存计算框架、MaP-Reduce离线计算框架、轻量级弹性计算平台等。(2)数据挖掘技术。大数据下的分类和预测算法、大数据下的频繁模式挖掘技术、大数据下的聚类分析方法等。(3)大数据可视化技术。任务并行化、数据流线化、数据并行化、管道并行化等。可通过对图形化手段的利用来实现信息的有效沟通与传达，可在计算资源有限的前提下，实现数据集特性的高效处理和分析。2.5大数据决策分析(1)融合多领域信息的数据知识模型。一方面，在数据知识模型标准统一的前提下，可面