高维大数据降维及快速处理技术与应用研究

《高维大数据降维及快速处理技术与应用研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕士学位论文高维大数据降维及快速处理技术与应用研究作者姓名王永康学科专业模式识别与智能系统指导教师俞祝良所在学院自动化科学与工程学院论文提交日期2016年4月ResearchonBigDataofDimensionReductionandRapidProcessingADissertationSubmittedfortheDegreeofMasterCandidate：YongKangWangSupervisor：ZhuLiangYuSouthChinaUniversityofTechnologyGuangzhou,China分类号：TP391学校代号：10561学号：

2、201420114548华南理工大学硕士学位论文高维大数据降维及快速处理技术与应用研究作者姓名：王永康指导教师姓名、职称：俞祝良教授申请学位级别：工学硕士学科专业名称：模式识别与智能系统研究方向：模式识别与图像处理论文提交日期：2016年4月26日论文答辩日期：2016年6月7日学位授予单位：华南理工大学学位授予日期：年月日答辩委员会成员：主席：贺霖委员：李远清俞祝良张智军华南理Ｘ大学学位论文原创性声明本人郑重声明：所追交的论文是本人在导师的指导下独立进行研究所取得的研究成果。除了文中特别加Ｗ标注引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写

3、的成粟作品。对本文的研巧做出重要贡。献的个人和集体，均ｄ在文中明确方式标明本人完全意识到本声明的法律后果由本人承担。：作者签名：王或ｊ。期如占年＾月＇曰ｌｔｊ＾学位论文版权使用授权书、使用巧位论文的规定：本学位论文化巧完全ｒ解学巧巧乂保留，即硏化生在校攻读学化期＿！。１Ｗ论文了作的知识产权单位厲华贿理乂学学校有权保巧并向国讓有关部口或机构送交）Ｊ论文的度印件和电了版－化巧学位论文被巧阅（除巧化密期内的保密论义外；学校ｗｔｉ公布Ｉ、、汇编学位论文。学位论文的全部或部分内容，寸站化许采Ｗ影印缩印或其它复制手段保存一本人电子文档的内巧掛

4、巧质论文的内容相致。本学位迟义席于：□保密，在年解密后适用本授权书。保密，供校内师生和与学校有共享协议，同意在校园网上发布的单位浏览；同意将本人学位论丈提交中国学术期刊（光盘版）电子杂志社全文出版和编入ＣＮＫＩ《中国知识资源总库》，传播学位论文的全部或部分内容。＂＂（请在相应方框内打Ｖ）至？户作者签名：考多９曰期：）令．指导教师签名：每曰期；可／若传作联者联系电话：１／电子邮賴：系地化（含邮编）：摘要随着互联网技术的发展，信息的爆炸带来了海量的大数据。尽管挖掘这些数据中蕴含了大量的信息十分吸引，但是要处理高维及海

5、量的数据并不容易。在面对少量数据时使用的方法在大数据面前缺乏伸缩性，这需要更加高效的处理方法。高维大数据通常具有非常多的维度和参数，在处理这样的数据时，对计算资源和存储资源要求非常的高。特别在应用到机器学习算法中时，需要学习过多的参数容易导致学习过程过拟合，泛化效果并不好。而张量分解利用数据的低秩性和结构性，仅需要少量的数据就能够近似表示原始数据，具有非常优秀的性质。本文结合TensorTrain分解和SVM算法，提出了一个低秩的学习模型，能够有效地降低学习过程中的复杂度，同时保证学习的效果。大数据处理的另一个问题就是海量数据，本文以基于内容检索的系统设计为题，研究了海

6、量数据中的检索问题。通过用卷积神经网络提取较为能够非常好的表示图像相似度的特征，然后用哈希映射的方式，在检索最相似图片时候仅检索部分图片，避免了检索全局海量数据而非常的缓慢。接着，为了进一步地优化海量数据的检索效率，本文对检索系统进行并行化优化，借助并行技术中的OpenMP和CUDA在CPU和GPU上分别实现了一个高效率的检索系统，进一步地提高检索性能。关键词：TensorTrain张量分解；局部敏感哈希；基于内容的图像检索；OpenMP；CUDAIAbstractWiththedevelopmentofInternettechnology,theexplosionof

7、informationbroughtvastamountsofdata.Althoughminingthesedatacontainsalargeamountofinformationisveryattractive,itisnoteasytoprocessthem.Thealgorithmtodealwithasmallamountofdataislackofflexibilitywhenprocessingthebigdata.Moreefficientalgorithmisnecessary.High-dimensionaldata