基于可拓学理论的高维大数据相似性研究

《基于可拓学理论的高维大数据相似性研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、第２４卷第５期运筹与管理Ｖｏｌ．２４，Ｎｏ．５２０１５年１０月ＯＰＥＲＡＴＩＯＮＳＲＥＳＥＡＲＣＨＡＮＤＭＡＮＡＧＥＭＥＮＴＳＣＩＥＮＣＥＯｃｔ．２０１５基于可拓学理论的高维大数据相似性研究袁瑞萍，　师鸣若（北京物资学院信息学院，北京１０１１４９）摘要：高维大数据的相似性计算是数据挖掘领域的研究重点，论文通过分析高维大数据相似性计算的难点，提出采用可拓学的方法解决其中矛盾问题的研究思路。在基元表示高维大数据的基础上，借助数据转换、数据筛选、权重的确定、数据预处理等技术实现了数据之间的相似性计算，并基于水污染常规分析数据进行了算法验证。论文借助可拓的思

2、想研究大数据相似性的问题，不仅对数据挖掘的研究有一定的理论促进，同时也为可拓学的研究提供了新的应用空间。关键词：大数据；高维数据；可拓学；相似性中图分类号：ＴＰ３１１．１　　　文章标识码：Ａ文章编号：１００７-３２２１（２０１５）０５-０１８４-０５ResearchontheSimilarityofHighDimensionalBigDataBasedonExtenicsＹＵＡＮＲｕｉ-ｐｉｎｇ，ＳＨＩＭｉｎｇ-ｒｕｏ（SchoolofInformation，Beijingwuziuniversity，Beijing１０１１４９，China）Abst

3、ract：Ｔｈｅｓｉｍｉｌａｒｉｔｙｃａｌｃｕｌａｔｉｏｎｏｆｈｉｇｈｄｉｍｅｎｓｉｏｎａｌｂｉｇｄａｔａｉｓａｒｅｓｅａｒｃｈｆｏｃｕｓｉｎｔｈｅｆｉｅｌｄｏｆｄａｔａｍｉｎｉｎｇ．Ｉｎｔｈｉｓｐａｐｅｒ，ａｆｔｅｒａｎａｌｙｚｉｎｇｔｈｅｄｉｆｆｉｃｕｌｔｙｏｆｓｉｍｉｌａｒｉｔｙｃａｌｃｕｌａｔｉｏｎｏｆｈｉｇｈｄｉｍｅｎｓｉｏｎａｌｄａｔａ，ａｍｅｔｈｏｄｂａｓｅｄｏｎｅｘｔｅｎｉｃｓｉｓｐｕｔｆｏｒｗａｒｄｔｏｓｏｌｖｅｔｈｅｃｏｎｔｒａｄｉｃｔｏｒｙｐｒｏｂｌｅｍｓ．Ｆｉｒｓｔｌｙ，ｔｈｅｅｌｅｍｅｎｔｉｓｕｓｅｄｔｏｒｅｐｒｅｓｅｎｔｈ

4、ｉｇｈｄｉｍｅｎ-ｓｉｏｎａｌｄａｔａ．Ｔｈｅｎｔｈｅｓｉｍｉｌａｒｉｔｙｂｅｔｗｅｅｎｄａｔａｉｓｃａｌｃｕｌａｔｅｄｂｙｍｅａｎｓｏｆｄａｔａｃｏｎｖｅｒｓｉｏｎ，ｄａｔａｓｅｌｅｃｔｉｏｎ，ｗｅｉｇｈｔｄｅｔｅｒｍｉｎａｔｉｏｎａｎｄｄａｔａｐｒｅ-ｐｒｏｃｅｓｓｉｎｇｔｅｃｈｎｏｌｏｇｙ．Ｆｉｎａｌｌｙｔｈｅｃｏｎｖｅｎｔｉｏｎａｌａｎａｌｙｓｉｓｄａｔａｏｆｗａｔｅｒｐｏｌｌｕｔｉｏｎｉｓｕｓｅｄｔｏｖｅｒｉｆｙｔｈｅｍｅｔｈｏｄ．Ｔｈｅｉｄｅａｏｆｕｓｉｎｇｅｘｔｅｎｉｃｓｔｏｓｏｌｖｅｓｉｍｉｌａｒｉｔｙｐｒｏｂｌｅｍｏｆｂｉｇｄａｔａ

5、ｃａｎｎｏｔｏｎｌｙｐｒｏｍｏｔｅｔｈｅｏｒｅｔｉｃａｌｒｅｓｅａｒｃｈｏｆｄａｔａｍｉｎｉｎｇ，ｂｕｔａｌｓｏｐｒｏｖｉｄｅａｎｅｗａｐｐｌｉｃａｔｉｏｎｆｏｒｅｘｔｅｎｉｃｓ．Keywords：ｂｉｇｄａｔａ；ｈｉｇｈｄｉｍｅｎｓｉｏｎａｌｄａｔａ；ｅｘｔｅｎｉｃｓ；ｓｉｍｉｌａｒｉｔｙｄｅｔｅｒｍｉｎａｔｉｏｎ０　引言２００８年９月，枟科学枠杂志发表文章枟ＢｉｇＤａｔａ：ＳｃｉｅｎｃｅｉｎｔｈｅＰｅｔａｂｙｔｅＥｒａ枠，“大数据”一词正式走入公众［１，２］视线，并开始传播。其实，“大数据”一词早在上个世纪８０年代由美国人提出来。２０１１年６月，

6、ＩＤＣ研究报告枟从混沌中提取价值枠中三个基本论断构成了大数据的理论基础，人们对大数据的关注程度日益上升。［３］据统计，Ｇｏｏｇｌｅ“大数据”搜索量自２０１１年６月起呈直线上升趋势，大数据时代的到来毋庸置疑。根据国际数据资讯（ＩＤＣ）公司监测，全球数据量大约每两年翻一番，预计到２０２０年，全球将拥有３５ＺＢ的数据量，并且８５％以上的数据以非结构化或半结构化的形式存在。“大数据”２０１１年一路走红，２０１２年后更加闪耀，成为业界当之无愧的焦点，很多国内外的学术会议均以“大数据”冠名。伴随新型ＳＮＳ网络的发展、视频流量的猛增及图片分享需求的涌现，人们迷失于

7、茫茫的数据海洋中，如何从大数据中挖掘出有用的信息成为关注的焦点，其中高维大数据因其复杂性而备受关注，并成为数据领域中的研究热点和前沿问题。收稿日期：２０１５-０６-０４基金项目：北京市教委科技计划面上项目（ＫＭ２０１５１００３７００１）；智能物流系统北京市重点实验室（ＮＯ：ＢＺ０２１１）；北京市属高等学校创新团队建设提升计划项目（项目号：ＩＤＨＴ２０１３０５１７）作者简介：袁瑞萍（１９８２-），女，博士，讲师，山东荷泽人，研究方向：物流信息化，数据挖掘；师鸣若（１９７６-），女，河南郑州人，研究方向：商务智能。第５期袁瑞萍，等：基于可拓学理论的高维大

8、数据相似性研究１８５１　高维大数据相似性研究综述聚类分析是高维数据处理的主要内容，它根据数据对象属性信息或对