分布式计算验证方案 -南京云创

《分布式计算验证方案 -南京云创》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、分布式计算验证1.方案描述方案设置许继电气.张展国执行人1.1硬件情况1.1.1硬件配置名称配置细节数量作用刀片服务器CPU：3.2G8核32线程内存：32G4DataNode刀片服务器1NameNode1.1.2软件名称说明cStore云创自主软件dataCute云创自主软件HadoopSystemHadoop2.21.2档案数据格式1.用户信息(1000w条)属性名数值类型说明建立索引用户IDnumber(15)是用户名Varchar(50)是变压器IDnumber(15)用户所属变压器的ID是计量点IDnu

2、mber(15)用户所在量测点的ID是冗余字段随意另外10个随机字段，字段类型随机，但是不能为空1.变压器信息(50w条)属性名数值类型说明建立索引变压器IDnumber(15)是安装位置Varchar(50)可以简化为一个线路代号是冗余字段随意另外15个随机字段，字段类型随机，但是不能为空1.1量测数据格式(30000w条)属性名数值类型说明建立索引数据ID唯一ID是计量点IDnumber(15)是数据日期date或者number(8)是时序mumber(2)取值范围0-96按照15分钟间隔，每天96个点，用1

3、-96表示0表示日冻结用电量冻结值mumber(13,2)数据召测时间datetime或者number(17)随机时间冗余字段随意另外10个随机字段，字段类型随机，但是不能为空1.1数据组织策略数据域组织策略数据规模用户信息随机产生数据约束规则：其变压器ID和变压器表IDà多对一其计量点ID和量测数据表数据IDà一对多1千万变压器信息随机产生数据约束规则：变压器和用户具有一对多关系均匀分布变压器信息中的“变压器位置”有5000个取值可能，即：这50万台变压器属于5000条线路，每条线路100台变压器50万，每个变

4、压器下面有200用户量测数据按照每用户每天97点，产生2014年4月至2014年9月的6个月数据。如有技术困难，可修改数据产生条件为：500万用户，每用户每天1个点（时序值为0），取2个月字段“用电量冻结值”的产生规则：共计15位，第一位是“3”，接着10位是“用户信息：ID），接着4位为月份值和日期值，如“0401”1千万用户×每天97个点×180天，共计2000亿左右量测数据最小值约500万用户×每天1个点×60天，共计3亿左右1.数据录入1.1录入前记录服务器磁盘使用情况服务器磁盘使用（df截图）1.2录入

5、过程描述使用什么工具，以及开始结束时间Datacube客户端jdbc语句：upsertintoBYQINFO006values(….);upsertintoUSERINFO006values(….);upsertintoDATAINFO006values(….);用户信息表单线程入库1000w条用时1683秒变压器信息单线程入库50w条用时106.7秒数据信息表双线程入库30000w条用时45378秒1.3录入结束记录服务器磁盘使用情况服务器磁盘使用（df截图）1.业务功能验证1.1变压器列表验证目标检索某线路下

6、的变压器列表，过滤条件为“安装位置”参考sqlselect*from“table变压器信息”where“安装位置”=？select/*+USE_INDEX_OVER_DATA_TABLE(BYQINFO006BYQINFO006_LOCATION_idx1)*/*fromBYQINFO006whereLOCATION=12验证结果：结果截图执行时间：0.309秒1.2用户列表1.2.1验证目标检索变压器下的用户列表，过滤条件为“变压器ID”参考sqlselect*from“table用户信息”where“变压器I

7、D”=？select/*+USE_INDEX_OVER_DATA_TABLE(USERINFO006USERINFO006_BYQID_idx1)*/*fromUSERINFO006whereBYQID=39121验证结果：结果截图执行时间：0.324秒1.1.1验证目标检索某线路下的用户列表，过滤条件为“变压器安装位置”参考sqlselect*from“table用户信息”，”table用户信息”where“table用户信息”.”变压器ID”=“table变压器信息”.”变压器ID”and“变压器安装位置”=

8、？select/*+USE_INDEX_OVER_DATA_TABLE(BYQINFO006BYQINFO006_LOCATION_idx1)*/*fromUSERINFO006joinBYQINFO006onUSERINFO006.BYQID=BYQINFO006.BYQIDwhereLOCATION=12验证结果：结果截图执行时间：14.53秒1.1.1验证目标统计某