基于mapreduce的中医药并行数据挖掘服务

《基于mapreduce的中医药并行数据挖掘服务》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、浙江大学计算机科学与技术学院硕士学位论文基于MapReduce的中医药并行数据挖掘服务姓名：刘洋申请学位级别：硕士专业：计算机科学与技术指导教师：陈华钧;姜晓红20100128浙江大学硕士学位论文摘要随着中医药信息化的进一步深入，更广泛的中医药临床数据被规范化整理，形成了大量标准的中医药数据库，使得中医药信息的数据量进一步膨胀，而原有的单机版DartSpora数据挖掘软件无法满足这种对海量数据进行挖掘的要求。针对这种新的需要本文提出了基于MapReduce的中医药并行数据挖掘服务框架，来满足中医药研究对更高性能计算能力的要求，这种方法可以充分利用

2、已有的高性能集群的计算能力，为DartSpora平台提供更强大的后台支撑。同时，这种服务方式又具有一定的通用性，可以为一些非领域内的挖掘要求服务。在这个针对中医药研究的并行服务框架中，具体实现了以下内容：(1)设计并实现了可视化交互平台，以及可编程的WebService服务。(2)在并行框架集成的算法库中，具体开发了a)针对单图的频繁模式发现算法，并应用到中医方剂组成配伍的研究中；b)实现了简化点式互信息算法，并把其应用于中医临床数据。关键词：中医药，MapReduce，并行服务框架，数据挖掘，聚类，频繁模式发现浙江大学硕士学位论文Abstrac

3、tWiththedevelopmentoftheTraditionalChineseMedicine(TCM)，moreandmorestandardizeddataprocessedmakethedatasizeexpanded．Thestand-aloneversionofDartSporacannotsatisfiedtheparallelingrequiring．WedesignedaMapReduce-basedTCMpararellingservingframeworktoofferhighperformancecomputingab

4、ility．Intheframework,weimplementavisualizationinteractionplatform，andprovideprogrammingwebservice．Itintegratessomedataminingmethod，suchasclustering,frequentPatternfinding．Moreover,ithasbeenappliedinTCMresearch．Inthisframework,mycontributionis：(1)Implementavisalizationinteract

5、ionplatform，andprovideprogrammingwebservice．(2)Inthealgorithmlibrary,Iimplement：a)Apatternfindingalgorithmforthesimplegraphb)ApointwisemutualinformationalgorithmKeywords：TraditionalChineseMedicine，MapReduce，ParallelingServiceFramework，DataMining，Clustering，FrequentPattemFindi

6、ng浙江大学硕上学位论文图目录图1．1DartSpora平台架构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1图2．1分布式文件系统的体系结构⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1图2．2Map／Reduce框架⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1图2．3Flex实现的关系展示图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1图3．1基于MapReduce的并行数据挖掘服务框架⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．1图3．2可视化平台架构图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．1图3．3基于webservice的服务框架⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯l

7、图3．4webservice调用流程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1图3．5功能层整体服务框架⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1图3．6HDFS的副本管理机制⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．1图3．7集群组织方式⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯l图4．1用户管理流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯l图4．2注册子模块流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯l图4．3算法管理模块功能流程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1图4．4新算法上传流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯

8、⋯⋯1图4．5算法编辑流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1图4．6算法删除流程图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯