魏凯大数据技术与产业综述

《魏凯大数据技术与产业综述》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、魏凯工业和信息化部电信研究院2014年8月20日魏凯工业和信息化部电信研究院2014年8月20日又是一场炒作？http://blog.xiqiao.info/category/programmers/page/22014-8-22数据改变未来-通信大讲堂第3页1.起源概念2.技术趋势4.产业生态3.应用状况5.国家行动2014-8-22数据改变未来-通信大讲堂第4页2014-8-22数据改变未来-通信大讲堂第5页2014-8-22数据改变未来-通信大讲堂第6页ICT关键技术领域经验速度集成电路每18

2、个月集成度/速度翻番（摩尔定律）光通信每年传输能力翻番存储能力每9个月存储能力翻番显示器每2年像素数翻番无线每年最高速度翻番2014-8-22数据改变未来-通信大讲堂第7页一切都可计算、分析、预测数据世界物质世界全面数据化反馈、控制、优化…物质世界大数据的基本思想：当物质世界的潜力越来越难以挖掘的时候，通过分析数据分析提供的指导来优化物质世界运行，有望打开广阔的增长新空间。2014-8-22数据改变未来-通信大讲堂第8页“大数据”信息技术进化后，信息化需求与信息处理3V技术供给间暂时失调的一种现象。

3、人类历史上的信息革命，语言、文字、印刷和互互联网联网的出现，都半生大数据现象。“大数据”引发的进步将信息技术的运用推向了新的阶段，对时代进步产生巨大推力。这一轮大数据的新特点：大范围传播1）整个人类社会都数字化了，与持久保存可以被以数据形式监控、计算、保存与传承口耳相传统计、分析、预测、控制。2）计算能力超越以往。语言文字印刷术距今10万年前距今5000年前公元1000年公元2000年2014-8-22数据改变未来-通信大讲堂第9页互联网内容的暴增大数据起源大数据时代是第一推20002000年前后，

4、基年前后，基动力量20062006后，电商、广后，电商、广于海量数据分析于海量数据分析告、告、SNSSNS应用，应用，的搜索引擎逐步的搜索引擎逐步20112011大数据提出大数据提出发展发展分布式文件系统1999-2000网页数量从5亿增长到40亿，突变分布式并行计算每天新增700万！PB级非结构化数据分布式数据库数据分析数据库19901990，提出，提出数数据挖掘和商业据挖掘和商业数据耦合19601960，，数据与应用分数据与应用分智能智能今天：随着应用领域扩展，离离，，事务处理事务处理数据库数据

5、库技术也在不断演进，为更19501950，计算机诞生，，计算机诞生，技术发展技术发展数据与应用捆绑数据与应用捆绑，都，都广泛应用提供条件存储在文件中存储在文件中2014-8-22数据改变未来-通信大讲堂第10页各方对大数据给出不同定义：维基百科、Gartner、IDC、NIST、IBM、麦肯锡…我们的认识：大数据是具有体量大、结构多样、时效强等特征的数据。处理大数据需采用新型计算架构和智能算法等新技术。大数据的应用强调以新的理念应用于辅助决策、发现新的知识，更强调在线业务流程优化。大数据不能只强调“

6、大”，数据大（3V）用从资源、技术、应用和理念多个角度全面认识。资源从开环应用到从单机到分布闭环应用理念与应用三维透视工具式存储处理大数据更重要的意义是启发从抽样到全集大数据从简单分析道从因果到相关智能深度分析全社会重新审视数据的价值。2014-8-22数据改变未来-通信大讲堂第11页1.概念范畴2.技术趋势4.产业生态3.应用状况5.国家行动2014-8-22数据改变未来-通信大讲堂第12页简洁直观深度智能关键海量快速环节海量多样去粗取精大数据存储、计算和分析技术是关键2014-8-22数据改变未

7、来-通信大讲堂第13页关系数据库的强一致性要求影响存取效率放松一致性要求提升性能新型数据库NewSQL结构化数据表存储，限制了扩展性通过Key-Value、文件等存储增加灵活性较强的一致性、支持SQL，全球规模关系型数据库（SQL）非关系型数据库（NoSQL）100万到1000万台机器！数据管理谷歌Spanner如：Oracel、DB2、SQLServer、Mysql如：Hbase、MongoDB、Redis数据管理技术前沿：超大规模的新型数据库，以及融合SQL接口的访问接口数据存储与计算分离数据存

8、储与计算合一新型分布式存储服务器服务器服务器数据存储网络本机硬盘本机硬盘本机硬盘存储磁盘阵列X86PC集群谷歌Colosuss淘宝TFS如：IBM、EMC等的NAS、SAN等系统如：谷歌的GFS和HadoopHDFS架构:存储和计算分离，I/O成为瓶颈架构:计算和存储节点合一，消除I/O瓶颈针对海量小文件持续优化提升速度文件系统:吞吐量和可扩展性差文件系统:采用分布式并行存储技术前沿：突破GFS/HDFS在写操作、小文件存取等方面的性能瓶颈，设计新的文件系统2014-