简谈大数据的财富与陷阱

《简谈大数据的财富与陷阱》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、简谈大数据的财富与陷阱导读：大数据的财富与陷阱是一篇关于数据和信息方面的毕业设计论文格式，适用于本专业专科生和本科生以及硕士研究生在撰写毕业论文时阅读参考借鉴，希望对学生们的论文写作启到帮助。百度能知道我们关注什，淘宝能洞察我们喜欢什，这是喜还是忧？大数据经渗透到当今每一个行业和业务职能领域，成为重要的生产素.人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来.2013年10月28日，三名新疆籍恐怖分子驾吉普车冲撞天安门，恐怖分子当场全部烧死，是警方仅用了10多个时全部抓住了5名伙.警方何快速锁定嫌疑犯，这是国家秘密

2、，但是从媒体披露的蛛丝马迹中，我们还是能发现无处不的监控视频和电信追踪起到了至关重要的作用.从天安门广场追溯过去的海量信息，通过一些模糊匹配方法能快速地过滤信息，最后找出恐怖活动与嫌疑犯的相关性这是大数据的威力.没有最大，只有更大维基百科这样定义大数据（Bigda）：大数据或巨量数据、海量数据、大资料，指的是涉及的数据量规模巨大，以至于无法合理时间内通过人工截取、管理、处理整理成为人类能解读的信息.我们举个例子，IBM团队为了让电脑战胜国际象棋冠军卡斯帕罗夫，收集了将近100年来的60万盘高手的棋谱，这个是大数据，人脑是无法记忆有这些棋谱加

3、以有效利用的.1997年，国际象棋特级大师卡斯帕罗夫《危险边缘》（jeopardy）节目中首次输给了IBM深蓝电脑，成为轰动一时的新闻.电脑能战胜人脑，秘诀于存储深蓝电脑内的棋谱大数据.科学家们研制了人工智能博弈软件，能从大量的棋谱中找出最合适的步骤，这是人脑无法企及的.有人把大数据的特征归纳为4V：Volume（量大）、Variety（多样）、Velocity（高速）、Value（价值密度低）.让我们来回顾一下刚刚过去的双十一节，那天淘宝商城达成了1。88亿笔交易，总交易额达创纪录的350。19亿元.这些交易记录形成了那天疯狂X购的大数据

4、.这样的记录首先体现数据量巨大上.我们知道一部高清电影的容量大约有1GB，而1024个GB是一个TB，再1024个TB是一个PB，而大数据往往达到PB数量级，见数据量大得无法想象.其次，是数据的多样性，交易的品种、卖家的信息、买家的信息、快递的信息、支付的信息，构成了一个行业多样化的数据链.第三，是数据产生的速度极快，检索结果的速度也要求快，要几百万件商品中查找出一类商品，其检索速度只需要1秒，这是传统技术无法达到的.最后，需要说明的是，大数据的内容虽然真实、完整地反映了客观世界，但的价值密度很低，果不去研究挖掘，大数据是不会自动产生有用结

5、果的.比，街景的海量监控视频中，犯罪分子留下的踪影也许只有几秒钟.大数据时代英国的大数据权威专家维克托·迈舍恩伯格（ViktorMayerSch?nberger）写过一本书，书名叫《大数据时代》，书中首次断言人类经无逆转地跨入了大数据时代.据他估算，人类2000年时大约只有四分一的信息实现了数字化，其他的四分三的信息仍然以报纸、书籍、胶片、磁带等形式存，但是到了2007年人类存储的数据超过了300艾字节，相当于3000亿GB的信息量.大数据时代生活、工作和思维上给人们带来了巨大变革.首先，是数据的形式由原来的关系型数据（电子表格形式）更多地

6、表现为非关系型数据（用户评论、图片等）数据存储方式也由原来集中式存储变为分布式存储，大型数据不得不存储不地方的存储服务器中，通过X络进行互联访问，构成谓的云存储.其次，是对数据处理的方式发生了根本变化，人们无法只用一台电脑处理数据，必须依赖X络后面的云平台，进行云计算，能有效处理大数据.对大数据处理上，我们以看到三个有趣的变化：数据时代，人们限于获取数据的困难，只能采用随机抽样的方式获取数据样本，然后根据样本数据进行分析预测.一旦样本出现偏差，那推导出的结果会产生很大的误差.而大数据时代，我们能轻易地得到数据全体，而不再需要样本.譬，阿里能

7、得到有买家的数据，能轻易地统计光棍节那天的交易金额，算出哪个地区交易最活跃，以通过媒体实时转播交易盛况.这是大数据的全数据模式，数据处理的范围是全体，而不再是样本.第二个变化，是不再一味地追求数据的精确性.由于大数据的多样性、丰富性、动态性（处理的时，数据还大量产生），强调数据的精确性是做不到的，也没有必要.纷繁的数据会混杂一起，看起来像全无用处，甚至有些还是错误的数据，但是没有关系，这是大数据的本性，看似无关无用的一堆数据却蕴含着无限商机.想一想，当人们百度上比以往更多地搜索感冒发热等关键字时，往往意味着某地将要爆发流感，甚至还能预测是什

8、流感，这是大数据的威力.第三个变化，是关注数据间的相关性，而不是果关系.比方说，通过挖掘天猫商城的交易数据，发现购买德龙咖啡机的买家，会有很高的比例购买宠物粮食，那商家会不失时机