基于流形学习方法的大数据分析技术在检验检疫行业中应用探讨-论文.pdf

《基于流形学习方法的大数据分析技术在检验检疫行业中应用探讨-论文.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、计算机时代2015年第7期·9·基于流形学习方法的大数据分析技术在检验检疫行业中应用探讨★徐胜林，魏颖昊，仵冀颖(国家质量监督检验检疫总局信息中心，北京100088)摘要：在大数据时代背景下，数据分析技术广泛应用于提取海量数据中的有效信息。检验检疫行业形成了以CIQ2000综合业务管理系统为基础，以电子申报、电子监管、电子放行为主要内容的中国电子检验检疫建设格局，积累了大量来源不同、类型不同、时间周期不同、用途不同的结构化和非结构化数据。针对检验检疫业务数据的非线性特征，介绍了基于流形学习方法的大数据分析技术

2、，探讨了其在检验检疫业务中应用的可能性。关键词：大数据；检验检疫；流形学习；数据分析中图分类号：TP391．4文献标志码：A文章编号：1006—8228(2015)07—09—04ResearchonmanifoldlearningbasedbigdataanalysiswiththeappficationtoinspectionandquarantineXuShenglin，WeiYinghao，WuJiying(InformationCenterD，theGeneralAdministrationofQu

3、ditySupervisionInspectionandQ“0r珊ofthePeop／e脚曲kofCh／,~Be0'／~100088,Ch／na)Abstract：Withthedevelopmentofbigdata，somedataanalysistechniqueswereproposedtoextractthemeaningfulinformationfrommassdata．From2000，thereisagreatdevelopmentoftheinspectionandquarantinein

4、formatization．Theconstructionpatternofelectronicdeclaration，electronicsupervision，andelectronicreleasewasestablished，basedontheintegratedbusinessmanagementsystemofCIQ2000．AlargeamountofstructuredandunstructureddatawithdiferentSO~CC，variety,cycle，andpurposei

5、saccumulated．Inthispaper,wediscussthemanifoldbasedbigdataanalysistechnique．whichissuitableforthenonlinearpropertyofinspectionandquarantinedata．Meanwhile，weanalyzetheapplicationofmanifoldtoinspectionandquarantinebusiness．Keywords：bigdata；inspectionandquarant

6、ine；manifoldlearning；dataanalysisO引言大数据处理是伴随着数据挖掘技术的不断发展而提出的，其核心问题是对大数据进行分析。大数据分析一方面依赖于随着信息技术、计算机技术和网络技术的不断发展，人类优化的复杂大规模数据处理技术，另一方面是模式提取的程社会迅速迈入了一个崭新的数字时代。利用大量的信息平台序、标准和规范。大数据不仅是指数据量大、数据类型复杂，更和网络建设，改善了信息的交互、存储和管理效率，从而生成、重要的是数据中模式结构复杂、信噪比低。特别是在检验检疫传播出大量的数据，称

7、为“大数据”。一般认为大数据具有四行业中，存在大量非结构化数据，既包括检验检疫业务数据、等个基本特征：数据体量大(Volume)、价值密度低(Value)、来源级评价数据，也包括商品种类、国别等辅助数据。科学的分析广泛特征多样(variety)、增涨速度快(Velocity)。简言之，大数和利用检验检疫大数据，需要更多角度的模式探测和更可靠的据可以理解为海量的、对于社会生活各个层面都更加有用的数模型构建，无论是运用模型生成规则还是直接利用预测结果，据资产。都需要更加规范的设计和分析。大数据的概念在社会上已经广

8、泛流传多年，而在检验检本文从数据分析的角度探讨大数据在检验检疫行业中的疫行业的应用才刚刚起步。在实际工作中，大数据与检验检应用价值。首先回顾数据挖掘的概念和基本流程，然后介绍常疫业务关系密不可分。2014年全国出入境法检货物共994．32用的针对大数据的降维方法，特别是基于流形学习的方法。最万批次，货值达1．2万亿美元。自检验检疫综合业务管理系统后对大数据分析方法在检验检疫行业中的应用进行探讨。(C