半通用版数据采集系统

《半通用版数据采集系统》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、半通用版数据采集系统先说说为什么是半通用版采集系统，之前确实也是准备做通用采集系统的，但是项目赶得紧，时间不是很够，就半路上刹住了，做成了一半一半的样子。相信大家看完这篇博客后能对数据采集有更深的理解的。刚拿到项目，很快就弄了一个出来。但是质量不高，很快就被退回来了。一看就知道差了，界面首先就不行，一看代码更糟糕。代码（早期测试代码）：#region将获取的数据按照一定得条件转化为数据集privatestaticDataSetGetDataSet(stringtype){DataTabledt=CreateTbBlockT

2、rade();switch(type){case"ShangHai":inttrstartshanghai=XMLHelper.GetInt("trstartshanghai");inttrendshanghai=XMLHelper.GetInt("trendshanghai");inttdstartshanghai=XMLHelper.GetInt("tdstartshanghai");inttdendshanghai=XMLHelper.GetInt("tdendshanghai");XmlNodeListxmlnod

3、elist=XMLHelper.GetXmlNodeList(System.Windows.Forms.Application.StartupPath+"\messagexml.xml","TR");intcountshanghai=xmlnodelist.Count-tdstartshanghai;for(inti=trstartshanghai;i

4、lnodechildrencount=xmlnodechildren.Count-tdendshanghai;DataRowdr=dt.NewRow();for(intj=tdstartshanghai;j

5、did=ss.Split('(',')');dr["StockName"]=nameandid[0];dr["StockID"]=nameandid[1];break;case3:dr["TradePrice"]=ss;break;case4:dr["TradeTotal"]=ss;break;case5:dr["TradeNum"]=ss;break;case6:dr["BuyDepartment"]=ss;break;case7:dr["SaleDepartment"]=ss;break;default:break;}

6、}}break;．．．．．．．．首先，值得肯定的是，目前的要求是实现了。但是这种方式采取的是分析网页源代码字符串的形式作的，存在这很大的隐患。它禁不起一点点小的波动。其实，它根本就没有通用性，就像是定制的一样。ｐａｓｓ了为了寻求一种新的采集方式，我请教了很多人。后来本人采取了自己觉得还行的办法。大家先看两个配置文件：ｃｏｎｆｉｇ．ｘｍｌ192.168.10.104

7、urce>InformationCentersasa81http://www.sse.com.cn/sseportal/webapp/datapresent/SSELargeTradeInfoAct?

8、CURSOR=112009-10-167:06:01天上交所