大数据量excel数据导入系统的设计与实现

《大数据量excel数据导入系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大数据量Excel数据导入系统的设计与实现摘要：针对现有大数据量Excel导入系统效率较低的问题，设计并实现了一种新的大数据量Excel数据导入系统。该系统采用C#语言，在VS2012的开发环境中，利用多线程技术将大数据量Excel表格数据导入到SQLServer中，加快了信息导入的速度。并且在临时表与目标表之间的合并过程中，摒弃了传统的游标逐条插入方式，取而代之的是SQLServer2008中的Merge技术，极大地加快了数据库端不同表之间数据的同步过程。实验测试结果表明，整个系统导入100万条数据耗时9534

2、ms，远少于传统Excel导入系统所耗时间，有效提高大数据量Excel导入系统的效率。关键词：大数据量；Excel；SQLServer；多线程；Merge中图分类号：TN911?34；TP391.13文献标识码：A文章编号：1004?373X（2014）14?0057?03DesignandimplementationofExcelmassdataimportingsystemPENGLei，LIXian?guo（SchoolofComputerScienceandTechnology，NorthwesternP

3、olytechnicalUniversity，Xi’an10710129，China）Abstract：InordertoeliminatethepoorefficiencyphenomenonexistinginmassdataExcelimportationsystem，anovelmassdataExcelimportingsystemwasdesignedandimplemented.C#languageandmulti?threadingtechnologyareusedinthesystemtoint

4、roducethemassdataExceltabulardataintoSQLServerunderVS2012developingenvironment.Thesystemcanshortenthetimeintheprocessofinformationimportation.Moreover，insteadofthetraditionalwayofinsertingitembyitem，anewMergetechnologyinSQLSever2008isemployedintheprocessofthe

5、mergencebetweenthetargettableandthetemporarytabletogreatlyacceleratethedatasynchronizationbetweendifferenttables.Theexperimentaltestingresultdemonstratesthatittakes9534msforthissystemtoimport1，000，000data，whichisfarshorterthanthetraditionalExcelimportingsyste

6、m.ItprovesthatthissystemcanimprovetheefficiencyofmassdataExcelimportingsystemefficiently.Keywords：massdata；Excel；SQLServer；10multi?threading；MergeExcel是办公常用的电子表格处理软件，SQLServer是目前广泛使用的关系型数据库管理系统。基于安全性、通用性和共享性等考虑，信息系统一般都会给用户提供借助Excel进行数据导入导出数据库的功能。在一些文献中，介绍了将Ex

7、cel转化为xml文件再进行导入[1]，或者将Excel转换成csv文件再进行导入，还有的文献介绍用自动化的方法启动Excel进程逐行读取，但此类方法操作复杂或者运行缓慢，在实际应用中效果均不是很理想[1]。如何能将大数据量的Excel高效准确地导入到SQLServer仍然是目前研究的重点和难点。本文介绍在.Net环境下，使用C#语言实现大数据量Excel数据导入SQLServer的一种新系统。该系统采用多线程技术，最大限度的发挥计算机性能，提高了大数据量的Excel外部数据文件加载到内存的效率；并且使用新的Me

8、rge技术，加快了数据库端不同数据表之间的数据同步过程。该系统实现了全自动化的录入信息，并且方便了录入数据后的查询、备份、挖掘和分析，减轻了工作人员的工作量，有效地提高了工作效率。1概述简单地讲，Excel表格数据导入SQLServer可以分为三个步骤，其系统结构图，如图1所示。10（1）Excel数据文件加载到内存数据库中。（2）内存数据库到SQLServer的转存过程