资源描述：
《【5A版】大数据安全与应用.pptx》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、大数据安全与应用目录一、大数据的来源四、成功案例五、大数据安全二、什么是大数据三、大数据的应用引言→电影《永无止境》库珀能在短时间掌握无数公司资料和背景，也就是将世界上已经存在的海量数据（包括公司财报、电视、几十年前的报纸、互联网、小道消息等）挖掘出来，串联起来，甚至将FaceBook、Twitter的海量社交数据挖掘得到普通大众对某种股票的感情倾向，通过海量信息的挖掘、分析，使一切内幕都不是内幕，使一切趋势都在眼前，结果在10天内他就赢得了200万美元。这部电影简直是展现大数据魔力的教材性电影，推荐没有看过的IT人士看一看。在企业、行业和国家的管理中，通常只有
2、效使用了不到20%的数据（甚至更少），如果剩余80%数据的价值激发起来，世界会变得怎么样呢？《永无止境》是由尼尔·博格执导的悬疑电影，由布莱德利·库珀、罗伯特·德尼罗和安娜·弗莱尔等联袂出演，所讲述的是一位落魄的作家库珀，服用了一种可以迅速提升智力的神奇蓝色药物，然后他将这种高智商用于炒股。数据本质是生产资料和资产仅供开采162年仅供开采45年仅供开采60年不可再生资源VS数据过去3年数据总量比以往4万年还多2020年,全球信息量将超过40ZB全球数据的增长速度在每年40%左右数据不再是社会生产的“副产物”，而是可被二次乃至多次加工的原料，从中可以探索更大价值，
3、它变成了生产资料。数据爆炸式增长（每分钟……）Twitter上发布98000+新微博13000+个iPhone应用下载Skype上37万+分钟的语音通话上传6600张新照片到flickr发出1.68亿+条EmailYouTube上上传600+新视频淘宝光棍节10680+个新订单Facebook上更新69.5万+条新状态12306出票1840+张需要不同“看”数据的方式可视：结构化资料15%未视：半/非结构化数据85%DB/DW主管们看的战情数位仪表板，其实是残缺的…10万GB10万TB需要更高性价比的数据计算与储存方式数据库DB数据仓库DW计算更快存储更省85%
4、半/非结构化的Log/Webpage/Email/PDF/Image/Full-text/MS-Officefile7需要不同的数据管理策略当我们想要扩充时，才发觉：架构只能scale-up，scale-out不易处理时间过长，time-to-value受限成本过高，cost-efficiency受限15%结构化的DB/DW遗憾残缺每天几百GB、几TB的资料，且持续成长中储存Storing在收数据的同时做必要的前置处理(pre-processing)，并区分数据处理的优先等级(prioritizing)计算Processing如何有效的避免因硬件毁坏所导致的资料
5、损毁管理Managing如何从中挖掘出所关注事件的pattern或behavior分析Analyzing超越企业现有IT的数据解决能力大数据的来源适应新时代，解决新问题目录二、什么是大数据一、大数据的来源四、成功案例五、大数据安全三、大数据的应用更结构化没有固定结构的数据，通常保存成不同类型的文件举例：文本文档、PDF文档、图像和视频具有不规则数据格式的文本数据，通过使用工具可以使之格式化举例：包含不一致的数据值和格式的网站点击数据具有可识别的模式并可以解析的文本数据文件举例：自描述和具有定义模式的XML数据文件包括预定义的数据类型、格式和结构的数据举例：事务性
6、数据和联机分析处理什么是数据？结构化半结构化“准”结构化非结构化12SocialMediaMachine/SensorDOC/MediaWebClickstreamAppsCallLogLog什么是数据？半结构化/非结构化数据3/13/20124什么是大数据？何为大？—数据度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,0
7、24TB=1,048,576GB=1,125,899,906,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes3/13/20126什么是大数据？《红楼梦》含标点87万字（不含标点853509字）每个汉字占两个字节：1汉字=16bit=2*8位=2bytes1GB约等于671部红楼梦1TB约等
8、于631,903部1PB
