大数据研究与应用综述（上）.pdf

《大数据研究与应用综述（上）.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2013,No.9STANDARDSCIENCE·StandardizationandInformation·大数据研究与应用综述（上）123胡雄伟张宝林李抵飞（1.国家标准委标准信息中心，北京100088；2.中国标准化研究院，北京100088；3.吉林大学，长春130015）摘　要：在系统分析国内外大数据研究与应用现状的基础上，梳理了涉及大数据的10个重要概念，总结分析了企业大数据的策略和商业应用案例、美英等国政府数据开放政策及做法，以及大数据应用的技术和业务特点。在分析大数据时代面临挑战基础上，整理了大数据研究与发展的重要问题和发展趋势，提出正确应对大数据挑战的观点。关键词：大数据数据开

2、放数据价值OverviewofBigDataResearchandApplication(PartA)123HUXiong-weiZHANGBao-linLIDi-fei（1.StandardsInformationCenterofStandardizationAdministrationofChina，Beijing100088;2.ChinaNationalInstituteofStandardization,Beijing100088;3.JinlinUniversity,Changchun130015）Abstract:Onthebasisofthesystematicanalysis

3、ofdomesticandforeignbigdataresearchandapplication,thepaperintroducestenkeyconceptsrelatedtobigdata,analyzesthestrategiesofenterprisebigdata,commercialapplicationcases,openpoliciesofdataintheUnitedStates,theU.K.etc.,aswellastheapplicationtechnologiesandbusinesscharacteristicsofbigdata.Thepaperalsosum

4、marizestheimportantissuesanddevelopmenttrendsofbigdataresearchanddevelopmentandproposesthemethodsoffacingthefuturechallenges.Keywords:bigdata,opendata,datavalue1基本概念信息是把数据置于特定的背景下，对数据的解释和注释，赋予数据具体的意义。当然广义的信息内涵1.1数据、信息与知识更广。在信息化时代，人们通常把所有存储在计算“数据”与“信息”两个词经常是交替混淆使机里的各类信息统称为数据，即所谓的泛数据。用。两个概念有很大的区别，不同学者

5、有不同的定所谓知识是指人类识别万物实体与性质，以及义和内涵，反映了学者出发点和认识的不同。一般是与不是的信息集合。一般说法是，知识是人类认认为，数据和信息是描述事物的不同方面。数据是识自然、改造自然过程中实践经验的总结。因此，数字化的信息记录，数据本身不具有具体的意义。知识是针对某个具体事物、具体领域或过程的特基金项目：科学仪器设备自主创新的方法体系构建和保障研究（2011IM010400）研究成果之一。作者简介：胡雄伟（1964-）男，理学博士，研究员，主要从事标准化、信息化等研究。张宝林（1980-）男，硕士，高级工程师，主要从事应用软件应用开发与系统集成。李抵飞（1986-）男，吉林大学

6、博士研究生。29·标准化与信息化·标准科学2013年第9期定信息的集合。比如：79是个数据；某某今年是79的数量级应该是在PB级别。但是，数据量的大小不岁，这是一条信息；某某地区的平均寿命是79岁，是判断大数据的唯一指标。大数据具有4V特点，分这是经过总结分析、归纳提炼形成的知识。从数据别是数据量（Volume）、时效性（Velocity）、多样信息知识的变化过程，是认识不断深化的过程，性（Variety）和数据准确性（Veracity）。也有人把也是内涵不断扩大，信息量不断增加，价值不断增第四个V定义成数据的低价值密度性（Value）。区值的过程。别于传统意义上的数据，大数据的数据类型复杂，

7、1.2最小数据集与大数据是各种类型数据的集合。大数据的一个显著特点是最小数据集（MinimumDataSet）是指管理层面包括了大量的非结构化或半结构化数据，如网络日针对具体业务领域强制收集的数据指标的集合，是志、图片、音频、视频、地理位置信息等。大数据针对被观察对象建立的简单使用的数据指标，是基的价值密度低。例如：在大量的视频监控数据中，本数据项的集合。建立最小数据集的目的是通过收真正有价值的信