HADOOP大数据平台系统思路流程图.pdf

《HADOOP大数据平台系统思路流程图.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、web项目与hadoop大数据平台结合思路流程图通过jdbc方式连接，实现大数据统计分析定时查询通过jdbc方式连接，实现大数据实时查询通过类sql操作hbase中表Phoenix工具注意：如果使用此方式，注意了解通过Phoenix创建hbase表和视图的优点缺点，再决定使用创建表还是视图通过java代码读取、查询、操作hbase表中数据，实现大数据实时查询平台项目系统hmasterleaderhbase表信息同步到zkzk管理hbase集群hbase集群zookeeper集群统计分析sqlsqlDeveloper开发人员进行SQL管管客户端统

2、计分析数据理理hRegionServerfollower通过创建表时配置映射实现hbase与hive中数据实时同步hbase表中数据是存储到hadoop集群中的hdfs上通过命令可以实现HDFS中原有数连接据文件与hive表中数据的交互h存储hive的元数据信息ivhive工具emysql数据库Serv通e读r过取据hhb到aados业务处理数据输出heboM结果到文件asp集a数据目录hadoopMapReduc通ep过表群Ree通k中中d过eut去文tcsle件eq工实nameNodel实具数现现通过现ke或读应该数tstqle工数上通过命

3、令可以实现本地数据文可据以o具通或过kettle实现数据文件交互取全实o现sqoo据传件与hive表中数据的交互、量p数据p工工全具文下查关系型数据库、具量、（建件载linux中存储文件询增（增来跟议使用hadoop集群、量建导入），导议和导操入出使作和用数导）据出，应该可以实管读理取节数点存储数据的文件dataNode据、文分件发hive表中数据实际存储在hdfs中的dataNode中通过kettle工具或sqoop工具（建议使用），应该可以实现数据全量、增量导入hive表中和导出流程说明：黑色文字：代表过程确定可以实现；蓝色文字：代表过程可

4、以实现，但暂时还没有亲自尝试；红色文字：代表过程理论上可以实现，但实际上可能会有问题，暂时还没有亲自尝试关系型数据库与hadoop集群数据交换流程图kettle读取文件中数据到mysql数据库中去kettle将数据输出.txt文件中去kettle所在的.txt格式的数关系型数据库windows本据文件（不要数据库地结果文件头部列名）kek到ttet执行hadoop-get命令，将运行结通过mapReduce在集群中运执行hadoop-put命令，lile本t果从HDFS中下载到服务器上n将地le行处结果输出到文件中去将文件添加到HDFS中ux文

5、w下hadoop集群中hadoop集群中HDFShadoop集群上件hadoop集群中in载nameNode节点去上nameNode节d结系统中结果文件中HDFS系统o服务器结果文件传点服务器w果s文中件到