资源描述：
《大数据时代new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。
1、内容•什么是大数据•相关技术•大数据的来“缘”和影响•发展动态及方向3/13/20122什么是大数据3/13/201233/13/201243/13/20125何为大？—数据度量1Byte=8Bit1KB=1,024Bytes1MB=1,024KB=1,048,576Bytes1GB=1,024MB=1,048,576KB=1,073,741,824Bytes1TB=1,024GB=1,048,576MB=1,099,511,627,776Bytes1PB=1,024TB=1,048,576GB=1,125,899,906
2、,842,624Bytes1EB=1,024PB=1,048,576TB=1,152,921,504,606,846,976Bytes1ZB=1,024EB=1,180,591,620,717,411,303,424Bytes1YB=1,024ZB=1,208,925,819,614,629,174,706,176Bytes3/13/20126《红楼梦》含标点87万字（不含标点853509字）每个汉字占两个字节：1汉字=16bit=2*8位=2bytes1GB约等于671部红楼梦1TB约等于631,903部1PB约等于64
3、7,068,911部美国国会图书馆藏书（151,785,778册）（2011年4月：收录数据235TB）中国国家图书馆：2631万册1EB=40001EB=4000倍1EB=4000倍倍美国国会图书馆存储的倍美国国会图书馆存储的信息量600600美元的硬盘就可以存储全世界所有的歌曲600美元的硬盘就可以存储全世界所有的歌曲MGIMGI估计MGI估计,,,全球企业,全球企业20102010年在硬盘上存储了超过2010年在硬盘上存储了超过7EB(1EB7EB(1EB等于7EB(1EB等于1010亿10亿亿GB)亿GB)的
4、新数据,,,同时,同时,,,消费者在,消费者在PCPC和笔记本等设备上存储了超过PC和笔记本等设备上存储了超过6EB6EB新数据6EB新数据3/13/20127大数据•大数据4Vo大量（Volume）•存储大；•计算量大；o多样（Variety）•来源多；•格式多；o快速（Velocity）•增长速度快•处理速度要求快o价值（Value）•浪里淘沙却又弥足珍贵数据没有办法在可容忍的时间下使用常规软件方法完成存储、管理和处理任务3/13/20128大数据•大数据与云计算o云计算的模式是业务模式，本质是数据处理技术。（肉体+灵
5、魂）o数据是资产，云为数据资产提供存储、访问和计算。o盘活资产，使其为国家治理、企业决策、个人生活服务，是大数据核心议题，也是云计算的最终方向•海量数据：两个V（volume和value）3/13/20129数据来源•互联网企业：SNS、微博、视频网站、电子商务网站•物联网、移动设备、终端中的商品、个人位置、传感器采集的数据•联通、移动、电信等通信和互联网运营商•天文望远镜拍摄的图像、视频数据、气象学里面的卫星云图数据等3/13/201210大数据相关技术3/13/201211大数据相关技术•分析技术o数据处理：自然语言处
6、理技术o统计和分析：A/Btest;topN排行榜；地域占比；文本情感分析o数据挖掘：关联规则分析；分类；聚类o模型预测：预测模型；机器学习；建模仿真•大数据技术o数据采集：ETL工具o数据存取：关系数据库；NoSQL；SQL等o基础架构支持：云存储；分布式文件系统等o计算结果展现：云计算；标签云；关系图等3/13/201212大数据相关技术•存储o结构化数据：•海量数据的查询、统计、更新等操作效率低o非结构化数据•图片、视频、word、pdf、ppt等文件存储•不利于检索、查询和存储o半结构化数据•转换为结构化存储•按照
7、非结构化存储•存储问题解决方案o在CAP理论指导下数据库技术适当“退化”•NoSQL技术：HDFS,HBASE,OceanBase,MongoDB等3/13/201213大数据相关技术•计算o因结构变化为导致计算模式变更o需求模式变化带来的计算碰到瓶颈•解决方案oHadoop（MapReduce技术）o流计算（twitter的storm和yahoo！的S4）3/13/201214大数据的来“缘”和影响3/13/201215从互联网社会化拉开序幕•YouTube、twitter、FaceBook、微博等社交网站出现o海量的视
8、频、图片、文本、短消息以及社会间关系信息数据需求出现3/13/201216跟随互联网的演进•互联网需要更好的理解“消费者”的需求•消费者也反作用于互联网3/13/201217Google的精准化理解用户需求•通过免费软件及服务来更精确的理解用户行为和习惯•通过对用户的更精确理解来提供精确广告服务3/13
