数据采集方法.doc

《数据采集方法.doc》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。数据源的种类比较多：·网站日志：作为互联网行业，网站日志占的份额最大，网站日志存储在多台网站日志服务器上，一般是在每台网站日志服务器上部署flumeagent，实时的收集网站日志并存储到HDFS上；·业务数据库：业务数据库的种类也是多种多样，有Mysql、Oracle、SqlServer等，这时候，我们迫切的需要一种能从各种数据库中将数据同步到HDFS上的工具，Sqoop是一种，但是Sqoop太过繁重，而且不管数据量大小，

2、都需要启动MapReduce来执行，而且需要Hadoop集群的每台机器都能访问业务数据库；应对此场景，淘宝开源的DataX，是一个很好的解决方案（可参考文章《异构数据源海量数据交换工具-TaobaoDataX下载和使用》），有资源的话，可以基于DataX之上做二次开发，就能非常好的解决，我们目前使用的DataHub也是。当然，Flume通过配置与开发，也可以实时的从数据库中同步数据到HDFS。·来自于Ftp/Http的数据源：有可能一些合作伙伴提供的数据，需要通过Ftp/Http等定时获取，DataX也可以满足该需

3、求；·其他数据源：比如一些手工录入的数据，只需要提供一个接口或小程序，即可完成；数据存储与分析毋庸置疑，HDFS是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。离线数据分析与计算，也就是对实时性要求不高的部分，在我看来，Hive还是首当其冲的选择，丰富的数据类型、内置函数；压缩比非常高的ORC文件存储格式；非常方便的SQL支持，使得Hive在基于结构化数据上的统计分析远远比MapReduce要高效的多，一句SQL可以完成的需求，开发MR可能需要上百行代码；当然，使用Hadoop框架自然而然也提供了MapR

4、educe接口，如果真的很乐意开发Java，或者对SQL不熟，那么也可以使用MapReduce来做分析与计算；Spark是这两年非常火的，经过实践，它的性能的确比MapReduce要好很多，而且和Hive、Yarn结合的越来越好，因此，必须支持使用Spark和SparkSQL来做分析和计算。因为已经有HadoopYarn，使用Spark其实是非常容易的，不用单独部署Spark集群，关于SparkOnYarn的相关文章，可参考：《SparkOnYarn系列文章》实时计算部分，后面单独说。