一种基于大数据的软件设计模型

《一种基于大数据的软件设计模型》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第 10 卷第3 期2014 年 3 月一种基于大数据的软件设计模型1，2111张桂刚张勇李超邢春晓1清华大学关键词：大数据软件工程BDPL程序设计语言2中国科学院自动化研究所随着大数据时代的到来，现行的程序。国内以北京大学梅宏演化及其复杂程度的提高，新的有的以既定逻辑思路为中心的软教授为主的学者最近几年提出了语义元件也会随之而增加，用于[1]件工程方法在一定程度上已不能一种基于网构件(Internetware)设计更为复杂的语义系统。图1完全适应现代软件工程发展的需的软件工程方法。这种方法的最

2、描述了整个语义软件开发过程。要。传统的软件工程方法主要考大特点就是将分布在互联网上的大数据的到来使未来的许多虑如何以系统性的、规范化的、众多无序的基础资源，通过一定应用和程序对数据计算的精度要可定量的过程化方法去开发、测的方式组合成有序的资源，从而求并不明显，如针对海量大数据试与维护软件。它涉及程序设计实现软件开发和实现的过程。的金融分析、政府舆情监测、大语言、数据库、标准、设计模式加州大学欧文分校菲利普气污染监控等。这些需求并不追等方面。传统的软件工程方法主教授等人基于语义对象(Seman-求

3、很高的精度，因为这些应用对[2]要包括：结构化方法、面向对象ticObjectsTM)的思想提出了事务处理要求不高，主要面向分方法、形式化方法、基于网构件一种新的语义软件工程方法学析型的应用，但是对数据的处理的软件工程方法及其语义软件工(semanticsoftwareengineering能力要求极高。在这种环境下，[3~8]程方法等。methodology)，它完整涵盖了基于软件工程方法应该一切以数结构化方法也称为生命周期软件开发的整个生命周期:一个语据的处理和计算为目标和宗旨。方法学。它将

4、软件生命周期划分义软件是将用户的需求转换成一为了适应大数据时代的各种分析为需求分析、总体设计、详细设套语义元件词汇表，这个词汇表型应用软件的开发，本文给出了计、软件测试及其软件维护等阶由数据对象和应用工具映射而来，一种软件设计模型。段。面向对象方法主要针对的是再由语义对象来实现，并根据词面向对象程序设计语言而产生的汇表的不同组合得到各种不同需基于大数据的软件一种将数据和对数据的操作紧密求的语义系统。随着系统的不断地结合起来的方法。它通过不断的迭代逐步使得软件开发过程不接近人类基于词汇断完善。形式

5、化方法则将软件开用户的应语义对象语义元件思维的界表的语义用需求（SemanticObjectsTM)面设计系统发过程演化成为一种数学变换方法，将软件开发过程形式化为数学推理过程，最后演变成为可运图1语义软件工程软件开发过程19专题第 10 卷第 3 期2014 年 3 月数据编程语言）。8.云数据库。主要指各种用户（包括各种非专业程序员）它是基于大数据云数据库系统，最典型的有谷（1）（9）的软件工程编程歌的BigTable[12]云数据库系统，大数据编程接口（普通PC机，手机或者其他任何终端）[

6、13]语言，与脸谱的Apache的HBase及Cassan-（2）[14]HiveQL语言和雅dra云数据库系统等。大数据程序设计语言BDPL（8）虎的PigLatin语（3）言类似。与后两基于大数据的编程BDPL编译器者的最大区别是，(5)语言BDPLBDPL是一种更接复杂计算K-means关联规其他数据(４)MapReduce分布式化分布式则分布挖掘分布并行计算处理模块算法式算法式算法近人类思维、使用基于大数据的编程语言(6)户更容易学习和BDPL是一种说明式的程序设计Map函数库Reduc

7、e函数库用户自定义函数库掌握的说明式的语言。为了让包括非专业程序员大数据获大数据获取/存储(７)程序设计语言。在内的普通用户都能够掌握并使(７)取/存储云文件系统云中大数据4.BDPL编译用这种语言，它的设计必须简单(GFS,HDFS等）(BigData)云数据库器。它的主要目易掌握。下面是设计的最初始的（BigTable,Hbase,等）的是对用户编写基于大数据的编程语言BDPL的图2基于大数据的软件设计模型的BDPL程序进语法，它包含四个语句，分别如下。设计模型行编译。(1)选择语句(SEL

8、ECT)5.复杂计算分布式化处理模从云资源中选择满足用户需图2展示了基于大数据的软块。在云环境下，对云数据的处求的各种资源，其基本语法简述件设计模型。该模型可简单描述理已经变得越来越重要。而现有如下：如下：的MapReduce只能处理简单的过SELECT云资源表达式1.用户（包括各种非专业程滤、聚合及统计抽取等计算。对FROM云资源集合THAT（条件序员）。与脸谱(Facebook)提供大数据挖掘中涉及到的很多十分表达式清单，连接符号可以使用的HiveQL查询语言和雅虎提供复杂的数据挖掘算法，很