对大数据时代软件技术面临挑战的若干认识和思考28.pdf

《对大数据时代软件技术面临挑战的若干认识和思考28.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、2013中国计算机大会对大数据时代软件技术面临挑战的若干认识和思考梅宏（上海交通大学）高可信软件技术教育部重点实验室KeyLaboratoryofHighConfidenceSoftwareTechnologies(PKU),MinistryofEducation2013年10月26日－长沙报告内容•互联网及其延伸，催生了“大数据”时代•现行计算机软件技术面临的挑战•可能的变革和发展：若干认识与思考数据的重要性毋庸置疑科学商务医疗娱乐DNA数据股票交易数据MRI数据MP4/MP3数据勘探数据通信数据CT扫描数据DVD9数据密集型科研业务运营数据电子病历社交网络…………………………………………数

2、据驱动的世界（Data-drivenWorld）－－数据的有效、高效应用才是关键！互联网催生了“创新”时代技术方面：互联网产业发应用方面：如何利用Internet为核心的多展迅速，概念、如何利用以Internet为核心网融合，实现高性价比、高效热点频出的信息化技术，实现成本控能、高可信的信息化技术制、资产增值、业务创新CloudComputingBigDataSocialComputingMobileInternetServiceComputingInternetCultureSystemofSystemsSocialNetworkInternetasaPervasiveComputingMo

3、dernServiceComputerGridComputingVirtualWorldInternetofThingsSmarterPlanetInternet正在演化为一台全球泛在计算机(globalubiquitouscomputer)当前“最热点”：大数据/云计算/移动互联网——本质上均是互联网计算及其延伸海量、异构、实时大数据数据存储、组织、分析和处理围绕数据中心用户通过智能提供计算、存移动移动终端更加云计算广泛地接入互储、网络、应Internetasa互联网用服务联网Computer三者彼此交叠，相辅相成，呈现视角和关注点的不同热点出现的背景和原因？技术能力的进步更快的网络带宽更广

4、的网络接入更强的计算能力更小的计算设备更低的成本……应用需求的促进IT巨头的市更方便、更便宜实时交易场战略社交网络位置服务……对大数据的认识：一孔之见！•大数据科学？-科学：观察现象，发现规律-大数据是信息技术普适应用所带来“自然”现象和客观存在-就此而言，探索大数据中的规律属于科学！－数据科学•大数据技术？-技术：基于科学原理发明的用于管控或改造“被察对象”的手段和方法-大数据技术应是指以大数据为“对象”的技术，而非指采用基于数据的方法去解决问题-就其本质特性，大数据将不会是一个可完全“解决”的问题，只能是逐步“逼近”、缓解之。尚不存在有效的大数据技术！•大数据与计算技术VolumeVari

5、ety-大数据问题源于互联网及其延伸所带来的无处不在的BIGDATA信息技术应用，以及信息技术的不断廉价化-解决大数据问题并有效、高效地应用基于数据的方法VelocityValue的关键仍然需依靠有效、高效的计算技术大数据与计算技术•一个直觉性共识：大数据带来了系列新挑战！面向大数据，需要多学科的交叉！–模型、方法与算法无疑非常重要！–然而，面对大数据，无论多好的模型和算法，人力/人脑均无能为力，必须依靠有效、高效的计算技术和工具。–现有的计算技术是否适用？•大数据计算的内涵及需求–涉及数据的获取和筛选、组织和存储、处理和应用等环节–可能需要传统计算模式及其计算系统演进方式的若干转变。例如：•

6、以计算为中心的数据管理和处理模式的局限，难以有效应对“4V”问题•数据仅是计算设备的输入/输出，靠提速扩容适应数据增长•……报告内容•互联网及其延伸，催生了“大数据”时代•现行计算机软件技术面临的挑战•可能的变革和发展：若干认识与思考计算机软件技术体系•软件技术发展主线：–向下：更高效地发挥硬件资源所提供的计算能力–向上：表达能力强、更符合人思维模式、易构造和演化的软件模型–面向应用：凝练并沉淀共性，提高应用软件开发运行的效率和质量–面向用户：更好地满足用户对易用性的需求软件HOWtomeasureand从软件工程师或程质量度量和评估evaluate序员视角看到的软件模型及其构造原理，是软件技

7、术体系的核心WHATistobe软件范型编程语言为载体HOWtodo软件软件HOWtorun软件工程方法和工具构造方法运行支撑OS+DBMS大数据带来的软件技术挑战•编程模型及其语言面临新的问题！通常编程模型可分为3个层次：–低级模型及语言：直接面向硬件机体系结构，高级专业人员使用。机器通用，性能可控、可预测；编程难度大、效率低、错误多。–高级模型及语言：直接面向系统软件，软件工程师使用。通用，性