海量数据处理接口关键技术研究.pdf

《海量数据处理接口关键技术研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、先进制造系统管理运作现代制造工程2010年第6期海量数据处理接口关键技术研究’王美林1，钟润阳2，戴青云1，周科1，何锦彬3(1广东工业大学信息工程学院，广州510006；2香港大学工业与制造系统工程系，香港；3广东巨轮模具股份有限公司，揭阳522010)摘要：以制造业信息化系统之间数据共享为研究背景，针对各种异构的海量数据处理过程中数据交互性强的特点，设计开发一个统一数据接口程序，该程序针对制造业企业信息化系统数据的特点，采用实时与定时处理机制，结合数据列表、多维数据库等技术解决各系统之间数据交互中存在及时性、大数据量处理等问

2、题。通过实际测试应用，设计开发的统一数据接口能够满足相关企业对数据共享及异构系统之间信息交互的要求。关键词：海量；数据处理；接口；关键技术中图分类号：TF391文献标识码：A文章编号：1671---313312010)06—0013----04ResearchonkeymassivedataprocessinginterfaceWANGMei—linl，ZHONGRun．yan92，DAIQing．yunl，ZHOUKel，HEJin．bin3(1FacultyofInformationEngineering，Guangdong

3、UniversityofTechnology，Guangzhou510006，China；2DepartmentofIndustryandManufacturingSystemsEngineering，theUniversityofHongkong，Hongkong，China；3GreatooCo．Ltd．，Jieyang522010，Guangdong，China)Abstract：BasedOnthedata-sharinginmanufacturingindustry，focusesontheMassiveDataPro

4、cessing(MDP)whichishetemge—neous，interactiveandreal—time，鹊aresult，anIntegratedDataInterfaceProcedure(IDIP)ispmposedanddevelopedtomeetthesechallenges．IDIPIISe$real-timeandtimelyprocessingmechanism，dataqueue，multi-databaseetctorealizethedata—sharingbetweeneachsystem．Af

5、terapplicationin80memanufacturingenterprises，thisprocedureCallmeetthedemandsofdatacommuni—cationandsharinginheterogeneoussystems．Keywords：massive；dataprocessing；interface；keytechnology在当前企业信息化过程中，特别是制造业企业整个工业化推进及创新改革实施中，信息化系统之间的融合、数据交互越来越频繁⋯，单一的信息化系统如企业资源计划(ERP)、计算机辅

6、助工艺(CAPP)、产品数据管理(PDM)、制造执行系统(MES)、客户关系管理(CRM)和商业智能系统(BI)等已经不能满足企业、行业和产业化大发展的要求，这就要求各系统之间的数据能够无缝集成、实时交互和及时响应旧J，以达到各系统之间数据的一致性、准确性和完整性∞刮；形成完整的企业级、行业级和产业级数据链。为了达到这个目的，企业之间或者企业内部要处理的数据将会面临前所未有的量，现在单独的系统处理的数据能够满足企业内部及外部的需求，可是一旦把企业所有的信息系统都接驳起来，这个数据接口需要处理的数据量将是巨大的。根据笔者调研的结果

7、，数据接口必须具有如下特点。1)海量处理能力：大公司信息化系统每日数据处理、传送和存储的量都是G级以上，每天的记录数超过千万条，峰值段的记录数达到千条级每秒"’6J。如果要统一整合这些系统的数据处理及交互能力，则数据接口的数据处理能力要求更加强大，因为各系统之间的数据格式、数据要求等都迥然不同，因此造成数据处理量十分巨大。2)实时性：数据接口处理的数据必须实时地进行，各系统数据流经过该接口后，能够及时传送到其他系统，实时性既是保证数据准确性、统一性的必要条件，又是数据资源共享、企业内部与外部信息流共享的先决条件Ho。·国家863

8、计划RFID专项项目(2006AA04A124)；广州市科委重点科技攻关项目(200621一D3021)；广东省教育厅产学研结合基地及科技成果转化重大项目(CGZHZD0608)13现代制造工程2010年第6期先进制造系统管理运作3)数据结合性：企业内部与外部都