hadoop大数据平台-集成实施方案

《hadoop大数据平台-集成实施方案》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Hadoop大数据平台集成实施方案目录1技术规范书应答书22技术方案建议773测试及验收1264项目实施与管理1535人员资质与管理1756技术支持及保修1817附录2132331技术规范书应答书1.1总体解决方案建议书要求乙方所提供的总体解决方案建议书至少包含技术方案、集成实施方案、建议的Hadoop系统软件产品等内容。答：相#乙方在解决方案建议书中，需要就需求分析、系统设计、系统开发、系统集成、项目试点以及推广等各阶段所能提供的服务以及各阶段产出物作具体描述。乙方在解决方案建议书中应说明给甲方提供的技术文档、技术支持、技术服务、人员培训等的范围和程度。答：#技术方案至少应包括以下内容：应

2、按照甲方建设的总体要求，结合行业先进经验，提出大数据平台技术建议方案；对整个平台提出安全技术方案；对上述内容相应的业务需求分析、建设模式、组网方案、软硬件配置、安全策略等提出建议方案。答：#集成实施方案至少包括实施方法、实施步骤、实施进度安排、相关配套系统的改造方案建议、项目实施控制和项目管理、人员组织、培训计划等。答：#对量收系统的功能及数据迁移提出建议方案，包括相应的业务需求分析、建设模式、组网方案、软硬件配置、安全策略等；提出相应的系统迁移实施方案，包括实施方法、实施步骤、实施进度安排、项目实施控制和项目管理、人员组织、培训计划等，其中：实施进度应满足2016年实现主要八大量收功能的时

3、间要求。答：#乙方二次开发的应用软件应采用SOA架构设计，在技术方案里详细描述，并提供可服务化封装的功能列表。答：#乙方或所投标软件产品的供应商需提供其大数据平台设计、Hadoop系统软件产品及其集成实施项目在国内外大型企业的成功案例，结合本次甲方的需求，提出案例分析和建233议。案例数量不少于3个，需涉及世界500强企业、国内知名企业，以及邮政行业、金融保险行业或速递物流行业等，以国内案例为主。案例内容包括：项目概况和规模、用户范围和数量、在项目中的角色、各阶段承担的任务、工作内容、所采用的软件及模块、设备配置、人员投入、时间进度、实施步骤、实施效果等内容，提供用户使用报告书、或该项目的中

4、标通知书、验收报告、或使用意见书等相关证明材料复印件，并加盖乙方公章。答：#乙方提供的Hadoop系统软件产品应是具有自主知识产权的产品，并独立于硬件平台，能够在不同的主流x86服务器、红旗Linux服务器版操作系统（RedFlagAsianuxServer）上安装运行。答：满足。目前CDH能运行在各种不同的x86服务器集群上，支持的操作系统包括：redhat,centos,debian,sles,ubuntu等一系列常见操作系统，红旗Linux的内核是基于redhat实现的，所以CDH可以运行在其上。#乙方应提供建议的大数据软件产品、技术服务列表以及相应的测试报告。如需采用第三方产品、开源

5、软件、自主版权软件，包括免费软件，均需明确标注。对于需要通过二次开发手段实现的内容，应明确标注并说明二次开发工作量。测试报告内容要求见7.1.3节。答：建议的大数据软件产品功能如下：高度集成的Hadoop平台：一个整体的数据存储和计算平台，无缝集成了基于Hadoop的大量生态工具，不同业务可以集中在一个平台内完成，而不需要在处理系统间移动数据；用廉价的PC服务器架构统一的存储平台，能存储PB级海量数据。并且数据种类可以是结构化，半结构化及非结构化数据。存储的技术有SQL及NoSQL，并且NoSQL能提供企业级的安全方案。CDH提供统一的资源调度平台，能够利用最新的资源调度平台YARN分配集群

6、中CPU,内存等资源的调度，充分利用集群资源；多样的数据分析平台–能够针对不用的业务类型提供不同的计算框架，比如针对批处理的MapReduce计算框架；针对交互式查询的ImpalaMPP查询引擎；针对内存及流计算的Spark框架；针对机器学习，数据挖掘等业务的训练测试模型；针对全文检索的Solr搜索引擎我公司针对中国邮政大数据平台项目专门成了了技术服务团队，并根据项目的需求、进233展阶段量身打造了具体的服务内容，详情请参考技术支持部分。项目中所涉及的软件包括：·Hadoop软件（包括而不限于Hadoop核心）§数据采集层：ApacheFlume,ApacheSqoop§平台管理：Zooke

7、eper,YARN§安全管理：ApacheSentry§数据存储：HDFS,HBase,Parquet§数据处理：MapReduce,Impala,Spark§开发套件：ApacheHue,KiteSDK·关系型数据库系统：SAPHANA企业版·ETL工具：SAPDataServices推荐方案中的核心技术产品ClouderaCDH与SAPHANA的测试报告请参考附录部分的国内某商业银行ClouderaCDH