永洪科技云计算技术白皮书

《永洪科技云计算技术白皮书》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、©2011永洪科技永洪科技Z产品云计算技术白皮书©2011永洪科技第6页共6页©2011永洪科技永洪科技Z产品云计算技术白皮书1产品介绍，包括技术优势和功能简介3产品平台和指标的软硬件配置3Z产品云计算体系架构及工作原理4产品核心功能介绍6便于计算的存储方式6结论6©2011永洪科技第6页共6页©2011永洪科技Z产品是北京永洪商智科技有限公司面向海量数据分析型应用领域，定位于[实时][发现型][敏捷]的商业智能解决方案。Z产品系列包括以下几个相辅相成的产品线,分别是数据仓库，数据加速器，即席查询&报表，打印。下面介绍Z产品的云计算技术。产品介绍，包括技术优势和功能简介从企业角度看，日

2、益增长的信息已经很难存储在标准关系数据库甚至数据仓库中，例如，怎样查询一个十亿行的表，怎样跨越数据中心所有服务器上的所有日志来进行一个数据查询，更为复杂的是很多数据是非结构化或者半结构化的，这就更难查询了。Z产品基于分布式架构，包括了分布式计算、分布式存储、分布式通信等模块，为海量数据的存储、计算、分析提供了底层支撑。分布式地操纵大量数据，在海量数据处理上具备了很多的优势：1.高容错性：从设计上Z产品云计算技术已经假设了各服务器节点可能宕机，或者网络可能分割。这些问题会导致某些机器不可用。Z产品通过如下手段实现了高容错性：1.1文件复制；1.2数据完整性检测；1.3元数据多源备份及Lo

3、g机制；1.4集群均衡。2.高伸缩性：Z产品通过集群可以从一台机器扩大到上千台机器。具备很强的应对业务变化的能力。这里的业务变化可以是几个小时之内业务量从波峰到波谷之间的转换，也可以是中长期的业务增长或者变化。3.高效分布式计算：Z产品将商业智能分析行为拆分为可分布式计算的模块，交由云端节点分布计算并汇总，真正意义上做到了海量大数据的即时响应。Z产品的云计算技术为永洪的数据仓库提供了支持，可以为数据仓库提供导入数据，分布式存储，分布式计算功能，使得永洪的数据仓库可以高效的工作。产品平台和指标的软硬件配置Ø操作系统：任何支持JDK1.5（或以后版本）的操作系统，包括：windows200

4、0/XP/2003/vista/win7，Linux，Unix(AIX、FreeBSD)，Solaris，MacOSX。Ø数据库支持各种主流数据库，包括Oracle，MYSQL，DB2，SQLServer，Derby，Informix，Access。用户也可以提供满足JDBC的驱动来连接其它数据库。ØWEB应用服务器：支持主流的应用服务器，包括：Tomcat,Weblogic,Websphere,jboss。JDK环境,全面支持JDK1.5及以后版本。浏览器:InternetExplorer6及以后版本,Firefox1.2及以后版本,chrome，safari。响应时间：页面响应时间

5、小于3秒、报表分析查询时间在1-5秒内。©2011永洪科技第6页共6页©2011永洪科技Z产品云计算架构介绍及工作原理将多台机器联网，调配成云平台。一台配置成Client服务器，一台配置成Naming服务器，一部分配置成Map服务器，一部分配置成Reduce服务器。ØClient服务器：负责接收客户请求，并把分析处理需求分解，交给Map-Reduce框架处理。Client服务器自行制定Job（任务），并通知Reduce服务器和Map服务器执行Task（子任务）。ØNaming服务器:负责命名工作。它知道当前有多少台Map服务器和Reduce服务器，及这些服务器的配置状况。Map服务器和

6、Reduce服务器会定期发送各自配置情况，workload(工作量)，CPU，内存等信息。ØMap服务器:负责处理MapTask。它被预先部署了客户的原始数据，也被预先部署了MapTask的代码文件集，当它接收到Client服务器发送的MapTask，可以直接执行该任务。ØReduce服务器:负责处理ReduceTask。它被预先部署了ReduceTask的代码文件集，可以直接执行该任务。每台服务器总是开启了伺服进程，由于执行的代码文件集已经被预先部署，当接收到请求时，不用再开启/停止进程。伺服进程能够自行管理，并在线程池中执行任务。服务器之间的通讯机制采用自主研发的通讯方式。该通讯方

7、式的特点是多路，复用，异步。通过该通讯方式提高海量数据传输交换的稳定性，减少CPU、内存的开销，提高节点间的传输效率。©2011永洪科技第6页共6页©2011永洪科技产品核心功能介绍l高效的分布式管理框架及通讯机制l强大的向下推送方式的函数分解计算，将商业数据分析行为分解为分布式计算l精心设计的存储结构以利于高速运算l特有的跨粒度计算、内存计算、列计算，并行计算技术来加速数据的计算海量数据，实时分析海量结构化/非结构化数据，传统的数据仓库方案难