Hive开发规范

《Hive开发规范》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、ABC项目Hive开发规范目录ABC项目1Hive开发规范11.ABC架构图22.Oracle包或过程转换成Hive脚本图23.项目文件夹命名规范34.shell脚本文件命名规范45.sql脚本文件命名规范46.临时表命名规范47.基表命名规范48.结果表命名规范69.配置表命名规范710.维度表命名规范711.日志记录格式812.注释913.Partition列914.字符集915.Shell脚本编写规范916.SQL程序体编写规范1117.Sqoop数据同步1318.Sqoop手功同步脚本1619.Hive程序优化1620.常用工具代码171.ABC架构图2.Oracle包或过程转换成

2、Hive脚本图具体案例：A、Oracle建表脚本.sqlHive建表脚本.shHive程序脚本1.sqlB、Oracle程序包.sqlshell调度脚本.shHive程序脚本2.sqlC、Oracle存储过程.sqlshell调度脚本.shHive程序脚本.sql1.项目文件夹命名规范Ø项目文件夹命名规范项目英文名称缩写如ABC作业成本项目：abc_costØ程序文件夹命名规范p_项目名称_模型名称_Param_Job如ABC作业成本项目：p_abc_waybill_model_Param_Job1.shell脚本文件命名规范Øshell建表脚本文件命名规范p_项目名称_模型名称_Tab.

3、sh如ABC作业成本项目：p_abc_waybill_model_Tab.shØshell调度脚本命名规范一级调度脚本：p_项目名称_程序名称_Param_Job.sh(只调sql脚本)二级调度脚本：p_项目名称_程序名称_Param_Job_run.sh(只调一级shell脚本)总调度脚本：p_项目名称_模型名称_Param_Job_Total_run.sh(只调二级shell脚本)如ABC作业成本项目：一级调度脚本：p_abc_waybill_input_Param_Job.sh二级调度脚本：p_abc_waybill_input_Param_Job_run.sh总调度脚本：p_abc

4、_waybill_model_Param_Job_Total_run.sh2.sql脚本文件命名规范ØSql程序体脚本文件命名p_项目名称_模型名称_程序名称_Body.sql如ABC作业成本项目：p_abc_waybill_model_input_Body.sql3.临时表命名规范Ø项目名称_模型名称_程序名称_TMP如ABC作业成本项目：abc_waybill_model_input_tmp01注意：在hive中临时表建成内部表，需要时创建不需要时删除。数据类型如下：时间：STRING整形：INT,BIGINT字符串：STRING浮点：DOUBLE4.基表命名规范Ø项目名称_BSL_模

5、块名称_程序名称如ABC作业成本项目：abc_bsl_waybill_model_inputØ基表数据存放路径：/result/系统编码/数据库/bsl/表名如ABC作业成本项目：/result/fin_abc/fin_abc/bsl/abc_bsl_waybill_model_input案例如下：注意：在hive中基表建成外部表，因为外部删除表结构不会删除数据。数据类型如下：时间：STRING整形：INT,BIGINT字符串：STRING浮点：DOUBLE1.结果表命名规范Ø项目名称_fact_模块名称_程序名称如ABC作业成本项目：abc_fact_waybill_model_inpu

6、tØ结果表数据存放路径：/result/系统编码/数据库/fact/表名如ABC作业成本项目：/result/fin_abc/fin_abc/fact/abc_fact_waybill_model_input案例如下：注意：在hive中结果表建成外部表，因为外部删除表结构不会删除数据。数据类型如下：时间：STRING整形：INT,BIGINT字符串：STRING浮点：DOUBLE1.配置表命名规范Ø项目名称_rel_表名称如ABC作业成本项目：abc_rel_product_split_ruleØ配置表数据存放路径：/ods/系统编码/数据库/rel/表名/表名如ABC作业成本项目：/od

7、s/fin_abc/fin_abc/rel/abc_rel_product_split_rule/abc_rel_product_split_rule案例如下：注意：在hive中配置表建成外部表，因为外部表删除表结构不会删除数据。2.维度表命名规范Ø项目名称_dim_表名称如ABC作业成本项目：abc_dim_asu_prodØ配置表数据存放路径：/ods/系统编码/数据库/dim/表名/表名如ABC作业成本项目：注意：