开发者使用文档和场景汇总

《开发者使用文档和场景汇总》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、开发者使用文档和场景汇总系统名称数据平台用户指南项目负责人DPinDP作者数据平台团队文档提交日期2014年4月10日修改记录大众点评/平台技术中心/数据平台组30No修改后版本号修改内容简介修改日期修改人10.1初始版本，使用Data.dp和现有的开发流程2014/4/10张翼20.2传输系统替换成galaxy.dp，其他部分做了补充和优化2014/6/3张翼30.3新增后端日志入库流程2014/7/4许景楠1.开发准备1.1组账号申请1.2熟悉开发环境3.开发程序3.1开发测试DOL3.2开

2、发测试MapReduceJob4.程序上线过程4.1程序发布BU开发人员：4.2调度配置4.3同步表结构大众点评/平台技术中心/数据平台组304.4预跑数据5.数据传输5.1数据导入（MySQL,SQLServer到Hive）5.1.1新增传输5.1.2表结构变更处理5.2后端日志接入（后端日志到hive）5.2.1日志打印数据平台对接入的后端日志有一些规范，具体详见后端日志规范。后端日志规范包括内容规范和格式规范，格式规范通过日志打印工具marin加以保证。5.2.1.1后端日志内容规范5.2

3、.1.2后端日志格式规范5.2.1.3日志打印工具marin5.2.2申请后端日志入库到hdfs5.2.3测试环境下测试5.2.3.1建立线上组帐号目录和产品目录5.2.3.2生成ETL任务需要的配置文件并建表5.2.3.3测试ETL任务5.2.4任务发布5.2.4.1配置文件发布5.2.4.2线下表同步到线上5.2.5任务配调度5.2.5.1配置doCheck任务5.2.5.2ETL任务配置5.2.5.3任务预跑5.3数据导出（Hive到GPReport,GPAnalysis）6.附录6.1D

4、OL开发参考6.1.1参考资料6.1.2运行方式6.1.3时间格式6.1.4velocity中的字符串比较6.2MapReduce开发参考6.2.1参考资料6.2.2新手指南6.2.3进阶指南6.2.4本地测试6.2.5伪分布环境提交大众点评/平台技术中心/数据平台组301.开发准备1.1组账号申请图1-1按图1-1点击用户组权限申请，进入组大众点评工作流平台帐号申请界面，按界面提示填写必要信息，提交之后在”我发起的流程”中查看流程状态。组帐号申请通过之后，您将收到如下邮件：大众点评/平台技术中

5、心/数据平台组30图1-2如邮件遗失，您也可以通过以下操作获取密码：图1-3申请权限之前请先了解需要使用到的表，在申请界面中填写相关信息。如暂时不确定需要使用哪些数据，也可以后续申请。原则是后续开发中要使用到的数据必须先通过权限申请。开发环境建表权限请邮件至acladmin@dianping.com进行单独申请。大众点评/平台技术中心/数据平台组301.2熟悉开发环境请先登录跳板。开发环境的IP为10.2.7.24,使用组帐号登录开发机器：ssh${线下组帐号名称}@10.2.7.24-p584

6、22进入组账号的HOME目录（cd），创建程序目录（如果已经创建，则次步可以省略），格式：${HOME}/${线上组帐号名称}[/${产品或项目名称}]，其中”产品或项目名称“为可选，各业务线按需创建,在”产品或项目名称“目录下，用户放置程序或DOL注意：开发环境以Hadoop作为认证方式，每次登录拿到的ticket有效期为一天，如出现执行hive,hadoop失败，请重新登录！2.典型用户场景1.数据导入：可选步骤；如果有需要的数据没有导入，可以使用Galaxy的传输工具配置导入作业（具体使用

7、请参考5.1）2.查询主数据，两个目的：a.查询程序使用的数据是否都已经导入HIVE大众点评/平台技术中心/数据平台组30a.查询如何使用模型数据（请点击链接访问新的主数据系统)2.开发程序：开发DOL或MapReduce作业，并在开发环境测试DOL或MapReduce程序（具体使用参考3）3.程序发布：程序发布到git（具体使用参考4.1）4.配置调度：在调度系统中配置程序，定时运行程序（具体使用参考4.2）5.同步表结构：从开发环境同步表结构，并在线上建表（具体使用参考4.3）6.预跑数据：

8、可选步骤；两个目的：a.在线上验证作业正确性b.补历史数据(具体使用参考4.4)7.数据导出：可选步骤；将数据从Hive导入GPReport或是GPAnalysis（具体使用参考5.2）3.开发程序3.1开发测试DOLDOL的命名规范：组账号.业务划分.表名.dol例：dwdev.dp.dpdim_dp_shop.dolDOL程序由Hive的配置和SQL组成，开发完DOL程序后需要将它放入对应的”产品或项目“目录中，之后可以使用以下命令在开发环境中进行测试：sunvelocity-g[线上组账号