塔式算法在生产累计中的应用.pdf

《塔式算法在生产累计中的应用.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第40卷第1期冶金自动化Vo1．40No．1，040—442016年1月MetallurgicalIndustryAutomationJanuary2016·系统与装置·doi：10．3969／j．issn．1000~059．2016．01．009塔式算法在生产累计中的应用昊勇，刘林权(1．中国水电顾问集团昆明勘测设计研究院有限公司，云南昆明650051；2．紫金矿业集团股份有限公司黄金冶炼厂，福建上杭364200)摘要：为解决海量数据统计难的问题，提出一种解决海量数据快速统计的塔式算法。算法通过对海量数据划分为多级进行中间累计，再利用这些中间累计结果进行级配统计直

2、到最终结果。以紫金矿业集团黄金冶炼生产累计为例给出了塔式算法实现方式、更新流程。与传统统计方法相比，塔式算法节省了大量查询与计算时间。关键词：大数据；数据统计；多尺度数据；海量数据；多维数据文献标志码：B文章编号：1000-7059(2016)01-0040-05PyramidstatisticalmethodbasedonmassivedataWUYong．LIULin—quan(1．KunmingInvestigationandDesignInstitute，Powerchina，Kunming650051，China；2．GoldSmelter，ZijinMi

3、ningGroupCo．，Ltd．，Shanghang364200，China)Abstract：Tosolvetheproblemofmassivedatastatistics，aPyramidStatisticalMethod(PSM)ispro—posed，inwhichthemassivedataaredividedintomultistagesformiddlecumulation，thestatisticsaredoneforthemiddlecumulativeresultsstepbystepuntilthefinalresultisderived．

4、Takentheman—agementinformationsystemforgoldsmehingandproductioninZijinmininggroupasanexample，theimplementationwayandupdateflowofthePSMaregiven．Comparedwithtraditionalstatisticalmeth-ods，thePSMsavesalargeamountofqueryandcalculationtime．Keywords：bigdata；datastatistics；multi—scaledata；mas

5、sivedata；multidimensionaldataO引言多行业。目前并行计算¨j、分布计算J、异构计随着计算机技术的应用与发展，生产管理系算J、云计算等不断被提出，为海量数据计算统中的数据日复一日入库，系统的数据日益增提供了硬件与网络方面的解决方法，但需要大量大，使得数据库查询、统计工作的速度越来越慢，硬件投入。文献[5—7]提出了各种各样的金字高峰时间甚至会导致服务器崩溃瘫痪，原本现代塔算法，但大多限于图形图像处理J、信号处化工具给人类带来的方便，反而给生产管理带来理_6J、地理领域信息等领域。王锐等提出的电灾难。这种现象不仅出现在生产管理信息系统，信行业

6、海量数据分组统计方法无法实现级配而且出现在人口普查、银行账单、电子商务等许统计。笔者提出了基于海量数据的塔式统计方基金项目：中国电力建设集团有限公司科技项目(AQ2013—1)；中国水电工程顾问集团公司科技项目(GW—K．I-2011—1O)作者简介：吴勇(1976一)，男，高级工程师，博士；收稿日期：2015-05-29第1期吴勇，等：塔式算法在生产累计中的应用法，旨在通过利用现有硬件设备、增加算法与中间累计结果的局部更新来实现计算的优化，从而缩短统计时间，降低计算机硬件的能耗，提高统∑∑⋯∑S，(1)计效率。该算法于2008年成功应用于紫金矿业k=g=h0=h式

7、中：S为经过i一1级累计处于同层的第个集团的黄金冶炼生产累计。汇总的数值；hj、e分别为相应Js集合中第k个1塔式算法划分的头与尾序号；he分别为相应5集合塔式算法思想是将要累计数据划分为一层中第g个划分的头与尾序号；h、e分别为s集层片段，然后对每个片段分别求和得到中间累计值项，这些中间累计值项再作为累计数据进行划合中第a个划分的头与尾的序号。分，如此循环下去，直到不需要划分为止。塔式塔式算法的思想与传统算法相比，就是将海算法统计就是利用这些中间累计值项进行大小量数据统计的问题分成许多片段来分别求和，数级配实现最终的统计结果的过程，每一个中间累据发生变化时只是