资源描述：
《数据导入的问题汇总》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。
1、数据导入的问题汇总从6月28号第一次向数据库导入黑龙江数据，到现在7月20号对数据库的导入，岀现了一些问题，一部分是数据本身的问题，比如说插入的列值过大；一部分是属于程序本身的问题。以下是测试时操作数据库发生的一些问题：（一）执行SQL*Loader时出现的错误1.导入的*.csv文件中数据不正确a.列后面添加大量空格，导致列值过大无法导入数据库如下图，项目名称和项目类型数据库定义的字符串程度是30和20,而事实上导入的字符串程度是57和23,当然会出现列值过大的问题序号，项目编码，项目名称，项目类型I
2、,B0444010,GSH七期扩客工程2,B0444008zGSM网交换搬迁工程3zB0344008z枢纽搂，局房土建4,B0444081,哈尔滨城域网四期传输设备工5zB0444080,哈斥滨城域网四期光缰工禅6,B0444082,大兴喪岭城域网彳专谕丧:备工程7,C0429001,勃利生产搂"高房土建8,C4422051,^?泉移动通信生产搂9zB0544071z智能网六期扩容工程10,B0544108zHHS五期铲容工程II,B0544109,WAP网芙七期扩容工程12,60544111,经营分林
3、索统二期扩容工程13zB0544117z废一级干线省內沿线线路配合工程14,60544118,营业片传輸接入设窑工桓15,60444022,七台河七期丸缆，传送网16zC0424001z桦川生产楼，局房土建17,60433002,五大连池分公司，局房土］「网络建设，传送网■，局届土建■，新技术新业务閒，新技术新业务网，新技术新业务网,IT支撑系统，传送，传送网b.列值错位L列的值占了两个列，M列为空，导致后面的列值错误。—LASSETSLOCATION0PROJECT」DATE_PLAC综台怪If墾辜坐
4、討GSM十三般########诵络部综合•黑龙江詁别七期扌########网络部综合•黑龙江qGSM±期?########网络部综合•黑龙江彳黑龙江GSN########网络部综合•黑龙江省黑河市北########网络部综合•黑龙江省黑河市北########c.列值违反唯一约束数据库定义的是某列是主键，键值是不可以重复的，而导入的相应的列值出现重复。d.列值的类型不符合如下图B列对应的是资产编号，误填了其他列值。B101930431019304410193045101930461040960310523
5、26510454789105233401052334110523342以上列举的只是几个典型的例子。具体的需执行SQL^Loader文件后查看日志文件。(二)追加地市盘点工单的时，追加的效率很低，而且部分数据没有导入。针对这个问题,统计抽取部分数据追加的时间和结果，如下表：地市名称增量数据导入前ets_item_info的count值数据导入后ets_item_info的count值所需时间备注大庆(31974)00319745分钟完整导入数据哈尔滨(106438)10643831974345163小时
6、数据没有导完，实际导入2542条数据齐齐哈尔444473451668975近2个小时数据没有完全导入从上表可以看出两个很明显的问题，一个是追加效率很低，一个是数据没有完全导入。针对这两个问题，做了如下考虑：1.对能的是数据太多没有执行完毕，于是采取了逐步增量(追加数据市少到多)的方式去证实这一猜测。下表是统计的结果。地市名称增量数据导入前ets_item」nfo的count值数据导入后ets」tem_info的count值所需时间备注大庆5005030秒内哈尔)兵1005015030秒内齐齐哈尔1501
7、5030030秒内大兴安岭50030080030秒内佳木斯20008002800一分钟以内七台河(12790)牡丹江(31620)省本部(14858)绥化(28572)伊春(10)87850280062930两个小时整数据没有导完，正确导入完成应该是90650条数据上表的数据反映了一个问题，当数据导入的量过大的时候，确实存在部分数据没有导入成功，而且效率也很低。这个问题不得不让操作者考虑，是什么原因让这些数据没有导入成功呢？于是引申出以下2、3、4的可能。1.执行某一条资产的时候，因不满足条件故被滤掉。
8、方案一：取一条ets_item_info表没有的ets_fa_assets表有的资产，而且是日志表amsjtemjobjog没有出错的资产，把这条资产的tag_number拿到程序中运行，看是否成功向ets_item_info表导入数据。操作步骤：a.取一条上述的资产，select*fromets_fa_assetsawherea.tag_numbernotin(selectb.barcodefromets_item_infobwherea
