基于缓存的补采策略在智能用电系统中应用-论文.pdf

《基于缓存的补采策略在智能用电系统中应用-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、江苏电机工程482014年1月JiangsuElectricalEngineering第33卷第1期基于缓存的补采策略在智能用电系统中应用陶晓峰．陈方周(国网电力科学研究院，江苏南京210003)摘要：针对用电采集系统中的数据补采提出了一种基于缓存的智能用电海量数据补采策略，通过预先在分布式缓存中按采集任务对需要采集的数据项进行初始化．采用数据包标记法提取元信息数据后通过哈希算法进行精确定位和快速标记，补采服务检索缓存中的标记信息生成相应的补采任务．该方法提高了智能用电采集系统的补采效率，有效提升了系统的采集成功率关键词：缓存；补

2、采；海量；数据包标记法；智能用电中图分类号：TP333文献标志码：B文章编号：1009—0665(2014)01—004802用电信息采集系统中主要采用采集终端汇总电表数据再上送主站的采集模式⋯．其中采集终端和系统主站之间主要采用GPRS无线通信方式_2]目前由于地域等原因会造成无线通信信号不稳定．导致周期采集任务中有些任务会执行失败．造成部分数据缺获取任务失为了保证系统采集数据的成功率和完整率_3]．需采集状态持久化要引入数据补采机制作为对自动周期定时采集的一数据库种必要补充为了减少大型数据库IJO操作和提高检索效率．文中引入了

3、一种基于缓存的海量数据的补采策略．通过在缓存中保存数据采集成功与否的状态标加识．直接遍历缓存数据．有效减少对数据库的检索压图1数据补采流程力．通过制定延时同步回写数据库机制对采集成功标速寻址的目的根据用电采集系统的物理结构．一个采识进行持久化保存集设备下负责收集几百到上千不等的用户电表数据．1数据补采策略设计数据采集状态标识采用位打点标记法．系统中通过数据时标Time、测量点号Pn和数据项编码Fn共同组成数据补采策略主要由补采服务、分布式缓存、采数据信息的三元组作为关键词Key：1个用户电表的数集服务3个服务子模块组成补采服务主要

4、负责根据据状态代表1个数据位．数据位值0代表没采集成功．设定的采集任务将每个数据采集状态在分布式缓存1代表采集成功．将所有用户电表的数据采集状态按测中进行初始化．根据指定的采集任务模块检索缓存中一工一务一一端一一版务量点号Pn组合成一个状态位字符串作为值value．将采的数据采集状态发起补采任务．任务保存在分布式缓集设备的三元组信息关键词Key和状态位字符串值存的任务队列．采集机获取补采任务进行执行．通过value进行内存映射成哈希表解析数据报文．采用数据包标记(DPM)方法对采集数根据数据分布和哈希函数的效率选择哈希函数，据包进

5、行快速解析，获取数据信息．对采集成功的数文中采用乘法哈希函数：据在分布式缓存中进行标记补采流程如图1所示m2数据采集状态标识设计(m)=(m×p)(1)i=0在数据规模越来越大的情况下．采用遍历数据库式中：n(m)为哈希运算函数；m，P，分别为信息关键词判断数据缺失的方式会增加数据库I／O的负载．而采和状态位值此哈希函数利用乘法的不相关性⋯．提高用对系统中的数据采集项进行内存初始化打点设计了检索速度。方案．则可减少数据库的直接操作3数据包标记法哈希技术在信息系统的数据存储与访问中占有重要地位．它把关键词直接映射为存储地址．达到快用

6、电信息系统中数据的采集交互都是以数据包按照一定的协议格式传输的．DPM法的主要思想是数据收稿日期：2013—08—05：修回日期：2013—09—12陶晓峰等：基于缓存的补采策略在智能用电系统中应用49包发送给采集服务器后．由数据包解析器将接收到的开始数据包中直接分离出数据标识信息]．对数据格式和详细的数据明细采用弱化处理方式提高解析效率数捕获终端上线离线事件据包的格式如图2所示．标记服务通过从数据包中提取出数据单元标识，DPM将解析出数据时问、测量点号、数据项编码项作为数据信息的三元组，根据三元组信息组合成Key．根据上述乘法哈

7、希函数可以快速定位数据采集状态标记数据是否采集成功补采模块获取任务信息根据任务补采策略创建任务放人任务列表0l632(字节)堑里垫互)图2数据报文信息域图3上线即补采流程(一种文本模式，包括普通字符和特殊字符)来设定周4补采任务的快速生成期补采的时间和补采频率．对一些优先级高的任务可采集终端下所有用户的数据采集状态．根据采集以提高补采频率实现提升采集成功率的目标。任务模板预先初始化生成状态位字符．状态位通过位6应用效果标识符都标记在了状态字符串内．将这些状态位字符保存在分布式缓存中_6]．采集成功的数据会更新相对该补采策略在青海、

8、新疆、江西、安徽等多个省级应的状态位字符．补采服务定期遍历每个终端的状态集中部署的用电信息采集系统中进行了实际运用．实字符串．将状态位转化为数组形式，可以一次通过检索践证明对系统提高采集成功率有明显效果．通过在一出状态位是0的数组索引下标值．此下标