大数据技术及其在土木工程中的应用_马智亮

《大数据技术及其在土木工程中的应用_马智亮》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、第7卷第5期Vol．7No．52015年10月Oct．2015大数据技术及其在土木工程中的应用马智亮刘世龙刘喆(清华大学，北京100084)【摘要】大数据技术相比于传统的数据分析技术可以实现对海量数据的快速处理和价值挖掘，当前已经应用于医疗、能源等行业。为探寻大数据技术在土木工程中的应用前景，首先需要把握其应用现状。本文在WebofSci-ence数据库、EngineeringVillage数据库以及中国知网等国内外有代表性的文献数据库中检索相关文章并做归纳分析，总结大数据技术在土木工程中的应用现状，并预测在土木工程中应用大数据技术的发展趋势，为在土木工程中进一步应用大数据技术

2、提供参考依据。【关键词】大数据技术;土木工程;大数据应用;数据处理;价值挖掘【中图分类号】TP311【文献标识码】A【文章编号】1674－7461(2015)05－0045－05【DOI】10．16670/j．cnki．cn11－5823/tu．2015．05．08出了相应的应对措施。2012年3月美国政府启动1前言大数据发展计划，该计划斥资2亿多美元，将利用大［7］数据技术在环境、生物医学等领域进行突破。近几年，随着互联网的快速发展，在互联网上2015年9月我国国务院印发《促进大数据发展行动发布、传递和共享信息产生了大量的数据，同时，传纲要》，提出形成政府数据统一共享交换平台

3、的目感器和物联网在交通、环境等方面的大规模使用也标，并对促进大数据产业健康发展、规范利用大数使得数据呈现爆发式增长。另外，通过实施企业信据保障数据安全等方面做出部署。息化，大量的管理数据也积累在企业管理信息系统土木工程支撑基础设施及民众住房建设，很明中。根据国际数据公司(InternationalDataCorpora-［1］显，土木工程中会产生大数据，且土木工程中涉及tion，IDC)的报告，2011年全球数据总量已达1．40大量决策，可以预计，大数据技术在土木工程中具8ZB(1ZB=2GB)。这些数据不仅包含结构化数有良好的应用前景。本文旨在总结大数据技术在据，还包含半结构

4、化数据和非结构化数据。对这些土木工程中的应用现状并预测其发展趋势。为此，数据进行分析和处理，可以得到大量有价值的信首先阐述大数据技术的关键概念，然后基于文献调息。利用传统数据处理方法处理这些海量数据时研分析大数据技术在土木工程中的应用现状和发往往效率较低，而且半结构化和非结构化数据的存展趋势。在也给数据处理带来困难。这些在有限时间内用传统数据处理方法无法2大数据及大数据技术简介处理完的数据，通常被称作大数据。虽然对大数据的分析要比对传统数据的分析困难，但大数据蕴含2．1大数据及大数据技术巨大价值，对大数据进行有效挖掘可以得到传统数当前大数据并没有统一的定义，不同的定义试据无法分

5、析得到的价值，因此专门用于大数据处理图通过描述大数据的特征给出定义。Grobelnik认［2］［3］的大数据技术已应用在医疗行业、能源行业、为大数据的特征为:体量大(volume)、多样(variety)［4］［5］［6］［8］通信行业、零售业和科学研究等。和高速(velocity)。国际数据公司IDC则认为大［9］为了应对大数据的挑战和机遇，各国政府都提数据具有以下四个特性:【作者简介】马智亮(1963－)，男，教授。长期从事信息技术在土木工程中的应用研究。46［10］1)体量大:大数据处理的数据集体量大，一般等。这些大数据分析方法使得短时间内分析大10为TB或PB(1PB=

6、2TB)级别，超出传统数据处理规模数据集、得到可辅助决策的数据分析结果成为方式的处理能力;可能。2)多样:数据来源广泛，包含结构化、半结构化2．4大数据分析方法与传统数据分析方法的和非结构化数据;区别3)高速:对于大数据的处理应当快速、实时;大数据分析方法与传统数据分析方法的数据4)价值:通过挖掘大数据，可以得到隐藏在数处理速度不同。传统数据分析方法在处理数据量据中的价值，这些价值是挖掘传统数据所不能得特别大的数据时，存在处理速度慢的问题。得益于到的。计算机硬件和数据处理架构、方法的改进和提高，专门用于处理大数据的技术就是大数据技术。大数据分析方法使得快速处理大量数据成为可能。

7、IDC将大数据技术定义为:“大数据技术描述了新一大数据分析方法与传统数据分析方法的分析代的技术和架构体系，通过高速采集、发现或分析，对象不同。由于传统数据采集技术的不足，往往很［10］提取各种各样的大量数据的经济价值”，说明大难获得全面的数据。因此绝大多数传统数据分析数据的高速和价值特征需要通过大数据技术实现。［10］方法的分析对象是随机抽样选择的样本数据。2．2大数据处理环节及处理环节中用到的技术随着互联网、检索技术、传感器的大规模应用，获得如果不对大数据进行分析和处理，那么它只是一个事件