开源推动大数据新兴技术不断涌现.doc

《开源推动大数据新兴技术不断涌现.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、开源推动大数据新兴技术不断涌现　　大数据新兴技术不断涌现，让我们更容易更精准的从海量繁杂的数据中提取有用价值。开源作为一种推动大数据技术创新的新模式，正广受技术开发人员的热爱。一、大数据市场前景无限　　近年来，我国大数据政策频频发布，2014年“大数据”的概念首次正式写入《政府工作报告》，其后的2015年是大数据政策顶层设计年、2016年政策细化落地，国家发改委、环保部、工信部、国家林业局、农业部等均推出了关于大数据的发展意见和方案，2017年，大数据产业的发展正从理论研究加速进入应用时代，大数据与前沿科技的结合也越来越紧密。2017年，习近平明确要求实施国家大数据战略，加快建设数字中

2、国。随着一系列利好政策的发布，大数据创业公司不断涌现，风险投资等机构也在追逐这个行业。大数据领域的创新创业变为常态，形成了大数据领域创新的力量。　　大数据作为一种不会枯竭并且不断增值的重要的资源，是经济社会发展的重要推力，市场前途不可限量。从2014到2020年我国大数据市场规模不断扩大，其中2017－2018年正是市场高速成长期，大数据龙头企业较多，小微企业也分得庞大市场中的一杯羹。大数据产业整体蓬勃，未来向好。　　二、开源推动大数据技术创新　　开源，就是开放源码，意味着免费和自由的进行二次开发，如当下最为广泛使用的hadoop生态系统。开源大数据技术是一种新一代技术和构架，它以成本

3、较低、以快速的采集、处理和分析技术，从各种超大规模的数据中提取价值。通过开放式的平台，吸引全球开发者集智共谋技术发展，开源将成为大数据技术创新的主要模式。目前，大数据分析处理流程中所使用的关键技术几乎都源自开源模式。　　开放源代码对人工智能、区块链等前沿科技都具有重要影响力。源代码与这些高技术的结合点颇多，创新创业机会较多，研发项目在不断涌现。　　国际上较受欢迎的开源大数据项目：　　1．OpenCog和OpenCogPrime　　2018年尖端技术潮流的一个典型例子——OpenCog项目被设计为面向虚拟和机器人功能的体系结构。用Python、C＋＋和Linux上Scheme编写，与匹配

4、一般智能和超越人类级别的目的相联系。还致力于实现其更加实际的研究和开发目标，同时精简其开源产品以实际应用。　　2．Hyperledger　　Hyperledger是在2015年由Linux基金会建立的，该项目最终目标是提供一系列开源的区块链和其他有用元素的工具箱。作为一个顶尖的科技趋势，区块链在2018年的最热门领域中备受瞩目，Gartner将其列入今年企业的最高战略趋势。　　3．Kubernetes　　Kubernetes是一个开源系统，专为部署自动化和容器化应用程序的管理而设计。随着谷歌的播种，该系统现在处于云原生计算基金会的管理之下。Kubernetes最引人注目的，是它与Doc

5、ker合作密切。Kubernetes也得到了广泛和高调的推动，被Pivotal、RedHat、OpenShift和IBM等公司支持。　　4．TensorFlow　　TensorFlow也许是最知名的开源项目，谷歌是该项目的主要倡导者，现已衍化为一个软件库，可以用于编程和数据流的目的，为广泛的用例提供服务。该项目还涉及当前的热门技术趋势，即机器学习，虽然这项技术并非是一个新事物，但随着在追求一系列不同结果时变得越来越受欢迎，这种技术一直在获得牵引力。　　5．Vault　　Vault是开源项目另一热点领域，提供了一种在传输过程中加密数据的工具，并且除了对其它信息进行一般安全管理之外，还越来

6、越关注GDPR的相关修订。Vault的制造商还强调撤销功能是最大的亮点，有效保护有价值的数据。随着信息安全问题的不断加剧，Vault已成为十分重要的开源项目。　　我国较突出的开源大数据项目：　　1．百度——希望获得开发者青睐的“PaddlePaddle”　　2016年9月1日，国内第一个机器学习开源平台PaddlePaddle诞生。　　PaddlePaddle能在多GPU，多台机器上进行并行计算。相比现有深度学习框架，PaddlePaddle对开发者来说有易用性、快速等优势。许多资深开发者认为PaddlePaddle的设计理念与Caffe十分相似，怀疑是百度对标Caffe开发出的替代品

7、。业内对PaddlePaddle的总体评价是“设计干净、简洁，稳定，速度较快。　　2．腾讯——面向企业的“Angel”　　Angel将成为PaddlePaddle之后、BAT发布的第二个重磅开源平台。Angel是面向机器学习的分布式计算框架，它为企业级大规模机器学习任务提供解决方案，可与Caffe、TensorFlow和Torch等业界主流深度学习框架很好地兼容。“Angel采用多种业界最新技术和腾讯自主研发技术使得Angel性能大幅提高，达到