golaxy bde中科天玑大数据引擎套件

《golaxy bde中科天玑大数据引擎套件》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、《GolaxyBDE中科天玑大数据产品白皮书》GolaxyBDE中科天玑大数据引擎套件中科天玑数据科技股份有限公司版权所有1/13《GolaxyBDE中科天玑大数据产品白皮书》1产品概述GolaxyBigDataEngineSuite（GolaxyBDESuite，天玑大数据引擎套件）是一款分布式大数据平台产品套件，提供数据接入、存储、查询、检索等基本数据管理功能，同时针对典型应用场景提供深度分析解决方案：高可靠、高可用多源异构数据接入数据可视化分析及呈现大规模、高性能、可扩展数据关联融合、统一访问海量数据全生命周期管理天玑BDE

2、Suite的产品定位立足于通用数据处理平台，并延伸至多个垂直行业解决方案。其中通用平台产品系列提供用户基本的数据存储及处理框架；而垂直解决方案面向行业场景，自下而上提供全价值链的数据增值业务解决方案，已成功用于日志分析、海量数据仓库、流式处理、实时推荐等多种场景，涵盖金融、电信、电力、智慧城市、电商、物联网等多个行业。2体系架构如图所示，BDE套件是一款大数据管理分析平台，基于底层的基础平台，自下而上可以分四层，依次是数据存储层、数据总线、数据处理层以及业务适配层。数据存储层：支持海量异构数据的统一可靠的存储管理，对外提供统一的分布式调用接

3、口。数据总线：支持数据采集、过滤、缓存、中转分发调度等。数据总线是拉通计算与存储的枢纽，同时是内外数据交换的通道，完成数据在组件间及层次间中转、缓冲及调度数据处理层：基于支持多种计算模型的分布式计算框架，为上层业务系统提供专业的计算处理库，包括文本处理、搜索引擎、数据挖掘等。业务适配层：为上层业务系统提供各种不同协议和标准的访问接口。高性能高可用：通过软硬件多方优化配置和深度研究，保证整个平台的高可用和高性能。BDE产品具备如下技术特色：丰富存储类型支持数据生产与分析拉通高速流式处理框架全方位运维管理平台高可扩展及高可用中科

4、天玑数据科技股份有限公司版权所有2/13《GolaxyBDE中科天玑大数据产品白皮书》3产品组件3.1GolaxyUDFS天玑统一分布式存储平台产品定义GolaxyUDFS(UnifiedDistributedFileSystem)是对应HDFS层的大规模通用集群存储平台。提供副本之外的低冗余高性价比建设方案；同时支持Posix/Hadoop/SAN兼容的生产/分析超融合方案；可构建于通用服务器之上。产品优势通用硬件在线扩展兼容POSIX/Hadoop兼容DFS/SAN低冗余高可靠快速数据恢复高并发吞吐率标准易用应用场景Gol

5、axyUDFS为大数据平台的通用存储层，可同时适用于离线hadoop分析+传统Posix生产场景+集群数据库场景；尤其适合海量非结构化数据的存储，比如图像、音视频、文档等文件。同时其可单独应用于存储虚拟化、云存储以及传统HPC高性能计算领域。3.2GolaxyHadoop天玑Hadoop系统产品定义天玑大数据系统中除了自研产品组件之外，也对开源Hadoop软件栈提供服务支持。GolaxyHadoop就是基于Hortonworks的HDP进行定制化的版本，其对原生系统做了可用性增强、功能增强及性能的优化适配，为大数据的存储和处理提供一个高性能，

6、高可扩展和低成本的平台。天玑大数据系统对用户提供原生Hadoop产品的运维和技术支持服务。产品优势低成本，易扩展中科天玑数据科技股份有限公司版权所有3/13《GolaxyBDE中科天玑大数据产品白皮书》丰富的功能扩展接口兼容自动化运维监控，快速搭建应用场景GolaxyHadoop是一个整合的大数据处理平台，主要用于大数据存储和分析基础平台等应用场景。其下属各组件适用场景如下：HDFS提供低成本高可靠的分布式文件存储能力，适用于一次写多次顺序读的海量大文件存储。YARN提供集群资源统一管理能力，适用于多种混合计算模型的应用。Map

7、Reduce提供分布式并行计算能力，适用于对海量结构化和非结构化数据进行分析的应用。HBase提供分布式键值对存储能力，适用于非关系型基于键值对（keyvalue）的数据存储与查询应用。Spark提供内存计算框架，适合多次迭代类计算。尤其适用于深度学习模型的计算。Mahout提供基于MR的通用数据挖掘和机器学习算法实例库，可基于此快速搭建数据分析应用。比如聚类、推荐等场景。Solr提供分布式检索平台，适用于基于网上开源数据快速搭建分布式搜索引擎。3.3GolaxyBase天玑分布式列式数据库系统产品定义GolaxyBase是一款架构在

8、分布式文件系统之上的分布式列式数据库系统，能够为海量的结构化和半结构化数据提供高效存储、实时处理及离线分析的完整解决方案。类似传统数据仓库，GolaxyBase可管