欢迎来到天天文库
浏览记录
ID:83250778
大小:976.37 KB
页数:5页
时间:2023-03-12
《CNN-IRLS装配孔定位方法研究_王旭东》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库。
第41卷第1期佳木斯大学学报(自然科学版)Vol.41No.12023年01月JournalofJiamusiUniversity(NaturalScienceEdition)Jan.2023文章编号:1008-1402(2023)01-0117-04①CNN-IRLS装配孔定位方法研究王旭东,黄海滨*(厦门理工学院机械与汽车工程学院,福建厦门361024)摘要:针对零件缺陷、反光或是环境光照不足不均,提出了一种通过卷积神经网络(CNN)一次定位,再二次运用改进迭代重加权最小二乘法(IterativeReweightedLeastSquares,以下简称IRLS)进行筛选和拟合进而进行二次定位的方法。在一次定位时,训练模型的准确率和召回率分别达到98.2%和97.4%,结合二次定位识别率为99.1%,相较于常规形态学筛选和模板匹配在复杂光照下的识别率分别提高了31.9%和15.5%。二次定位时,圆孔的最大定位误差为0.65mm,平均误差0.31mm。对比Hough法和CNN直接定位,最大误差分别减少了33.0%和53.9%,平均误差分别减少了36.7%和50.8%。关键词:卷积神经网络;迭代重加权最小二乘法;孔定位;机器人主动装配中图分类号:TP18;TP242文献识别标码:A照、不同姿态、不同图像分辨率、不同尺寸型号的键0引言槽共计1104张进行神经网络训练,为模板提供良使用机器人代替人工进行轴孔装配,成为近好的鲁棒性。年研究热点。而在机器人轴孔装配过程中,孔零件1.2模型选择与评价指标圆心的定位精度直接影响后续装配时长和成功率。诸多学者围绕圆孔零件视觉定位方法展开软件环境:操作系统win10、图像处理Hal-[1]研究。朱福康等使用RGB-D深度相机对孔进con20.11、c#集成。选取5种典型的神经网络进行定位,根据深度图像粗略定位,再根据Hough变行小样本预训练。小样本预训练的步骤为:(1)首换精确定位,控制位置误差在0.6mm-1.2mm内。先从以上图库中随机抽取158张,其中包含50%[2]齐浪等采用FasterR-CNN网络对圆孔直接的训练集、20%的验证集、30%的测试集。(2)采用定位,控制误差在0.1mm-0.4mm之间。综上,视不同神经网络分别进行预训练,设学习率为0.觉寻孔问题在精确度上取得较大进展。但是在方0003、训练周期为128。(3)以低损失、高准确率和[3]法的鲁棒性问题上仍值得研究。因此提出了改召回率为评价指标,选择最合适的神经网络为下一进的CNN-IRLS二次定位的方法,有效解决了环步的深度训练模型。训练结果如表1。境复杂和零件反光、缺陷等问题。表1预训练结果1CNN识别与定位零件网络名称损失准确率召回率AlexNet0.10686.2%85.3%1.1图库建立Enhanced0.293978.3%76.6%常规对孔型零件识别采用形态学筛选或者模Compact0.132680.9%80.9%板匹配的方法。由于形态学筛选需要进行阈值分MobileNet_v20.307682.6%80.9%割,因金属反光导致阈值分割效果欠佳。而模板匹ResNet500.195281.9%81.9%配在对有缺陷或相似度较高零件时往往会进行误判。基于以上种种不利因素影响,采集不同光由表1可知,AlexNet模型所训练的模型损失最①收稿日期:2022-09-23基金项目:福建省自然科学基金(2022J011244)。作者简介:王旭东(1997-),男,安徽马鞍山人,硕士,研究方向:机器视觉、机器人控制。通讯作者:黄海滨(1983-),男,福建莆田人,副教授,博士,研究方向:机器人系统开发。
1118佳木斯大学学报(自然科学版)2023年低,准确率和召回率均为最高值故而最适用该图片集。2.1自适应圆弧筛选1.3AlexNet网络模型CNN的训练可以对上述工件进行位置的预神经网络的发展大大促进了图像处理技估,进而为筛选工作提供非常大的便利,但是由于[4][5]术。AlexNet网络最初于2012年提出,该网样本的多样性对于高精度定位仍有误差,故在二次络模型内置8个权重层。前5层为卷积层用以对定位时进行圆弧筛选拟合。不同图像的特征进行提取并赋予相应权重。第6、在CNN定位得出相应矩形框后,可根据矩7含4096个神经元的全连接层用来整合特征,输形框的四个角点按顺时针坐标依次为(x1,y1),[6]出一维向量组。最后设有1000路的softmax(x2,y1),(x2,y2),(x1,y2)得圆弧的一次定位半层,用于计算归一化概率。径R1式(1)、圆心O1式(2)。此外,AlexNet网络将激活函数由当时主流的x2-x1y2-y1R1={,}min=1(1)tanh和sigmoid改为ReLU即f()x=max(0,x),22该函数没有饱和区且收敛较快,有效防止梯度消失。x1+x2y1+y2O1(X,Y)=(,)=2(2)在第6层和第7层使用Dropout技术,将神经元随22机置零,降低了神经元之间复杂性,减少过拟合。把ROI区域缩减至矩形框,对上键槽做精确定位处理。首先对图像灰度化、滤波、平滑一系列1.4深度训练结果及对比预处理操作后,用Canny算子提取图像亚像素轮采用AlexNet作为训练网络模型,对1104廓边缘。Hough变换将提取出的轮廓分割成圆弧张图片进行深度训练,按照训练集80%、测试集和直线,连接附近具有相似圆心和半径的点云。10%、验证集10%进行划分,训练周期为600,其余参数与预训练保持一致。在训练中得到损失函数函数曲线如图1所示。图1损失函数曲线取验证集中110张图像分别与相应图像形态学筛选和模板匹配进行匹配和比较,其上识别率图2不同光照下神经网络识别效果为表2所示。根据粗定位时CNN训练模型的评价指标,表2不同方法识别率人为定义第一次定位的圆半径与实际圆半径之间方法识别率的误差e1、e2(单位:像素),则可得实际的圆半径范形态学筛选67.2%围为[R1-e1,R1+e2]。同理定义e3可得实际的模板匹配83.6%圆心横、纵坐标范围为[X-e3,X+e3],[Y-卷积神经网络定位99.1%e3,Y+e3],如图3所示,由此根据这两个特征范围筛选矩形框中相应的圆弧拟合后进行筛选。经过卷积网络训练后的模型由于图库的多样当CNN训练指标足够好时,证明一次定位性,所以在光照不均、光照不足、高度曝光、自然光源的值与真实值越接近,可以把误差设置的足够小。的场合下均有良好的识别和定位效果如图2所示。程序设定值为e1=5,e2=e3=15时,测试集中的2改进IRLS二次精确定位孔心圆拟合成功率为99.1%。2.2改进IRLS圆拟合实际在Canny亚像素边缘化时由于零件反
2第1期王旭东,等:CNN-IRLS装配孔定位方法研究119光、缺陷等原因导致有多段圆弧轮廓或是有内孔干选。将符合范围条件的n段圆弧拟合的圆心扰导致误差较大,如图4。O2i(mi,ni)和n段半径R2i进行加权平均拟合(i=0,1,2,…,n)。根据每条轮廓的弧长li占总弧长l的比例再次赋予其相应权值。则可得圆心坐标O3式(7)和半径R3式(8)。nnliliO3:(∑mi,∑ni)(7)i=1li=1lnliR3=∑R2i(8)i=1l在得到加权平均后的圆心坐标O3和半径R3×:实际圆心坐标·:圆心O1坐标后,分别计算未加权前每段圆弧圆心O2和O3之间图3圆弧筛选范围的差值、半径R2和R3之间的差值。再次利用Tukey判断和筛除超差的圆弧后,进行迭代,得出最后的圆心和半径,流程图如图5所示。图4Canny边缘化采用IRLS可排除超差圆弧的干扰。对遮蔽、零散圆弧效果好并且可以筛选出内孔。设a、b分别为圆心的横纵坐标,r为半径。某圆弧上点(xi,yi)到圆心距离di则最小二乘误差函数δ如式(3):n22(222)δi=di-r=∑(xi-a)+(yi-b)-ri=1(3)引入Tukey权值函数对每个圆弧上的点根据半径大小赋予相应的权值如式(4)、(5):δ22图5CNN-IRLS流程图■i(1-()),δi≤τ(4)改进后的IRLS迭代法不仅根据圆心距离赋ωi()δi■τ■0,δi>τ予相应权值,还根据圆弧长度再次赋予权值进行筛medianδi选迭代,对于离群的圆弧可以有效的筛出。下图6τ=N(5)0.6745为图4改进前后圆拟合情况。可从图中直观看出ω为每一点对应圆心的距离权值,τ为削波改进前的圆弧拟合会偏向圆弧密集的一侧,而改进因数,圆弧上的点距离大于τ的点被赋予权值为后的圆拟合明显有很大改善。0,而小于τ被赋予[0,1]之间权值。N为小的常数2.3标定通常人为定义为2。引入距离权值后最小二乘法误差函数平方机器人手眼标定就是图像像素坐标系与机器人E为如式(6):坐标系之间的转换关系。实验采取eye-to-hand(机2(6)器人和工业相机相对固定)九点标定法进行标定。E=ωiδi对E的各项求偏导,进行最小二乘法拟合。九点标定法可用于二维平面eye-to-hand在第一次迭代时采用标准最小二乘法,即ωi=1,系统,相对其它标定法更加简单如式(9):按照Tukey舍去离群点后再次赋权进行迭代。通■px■■cosθ-sinθ0■■Sx·x■■Tx■过该方法筛除和拟合各个圆弧上的点,得到对应半py=sinθcosθ0Sy·y+Ty(9)径和圆心后,用一次定位时圆弧半径、圆心范围筛■1■■001■■1■■0■
3120佳木斯大学学报(自然科学版)2023年式(9)中px,py为图片的像素坐标系。Sx,53.9%,平均误差分别减少了36.7%和50.8%。三Sy分别对应着机器人坐标系x,y轴方向缩放比种方法位置误差趋势如图7所示。例。Tx,Ty分别x,y方向位移。将标定板上9个点的实际位置(x,y)与像素点的9个位置带入式(9)得仿射矩阵H见式(10):■Sxcosθ-SxsinθTx■H=SycosθSycosθTy(10)■001■采用最小二乘法拟合仿射矩阵H,即可得到两坐标之间转换关系。图7误差趋势图3结语针对视觉定位圆孔型零件孔心的问题,提出了一种二次定位的方法。该方法相比传统视觉寻孔有以下优势:(1)采用神经网络训练不同环境下图6改进前后圆拟合情况的装配孔图片集,避免了使用阈值分割进行筛选,2.4测量可以应用于复杂光照环境下寻孔;(2)根据CNN定位矩形框参数对其亚像素轮廓进行自适应圆弧实验用Φ=20mm的键槽孔零件位于9个筛选。可以依次找到因为反光而缺损的圆弧,且自不同的位置进行定位实验,分别使用常规寻孔的适应不同尺寸的孔型零件定位;(3)改进的IRLS拟Hough变换法、CNN一次定位法、CNN-IRLS二合不仅有根据圆心赋予权值后,还根据弧长赋予权次定位法,记录其与实际位置之间的误差(单位值后进行筛选,在处理小缺陷和反光的金属零件时mm),结果如表3所示。优势明显。表3测量位置与实际位置误差位置Hough法一次定位二次定位参考文献:1(0.97,0.8)(-0.93,0.77)(0.09,0.56)[1]朱福康,丛明,刘毅,等.基于RGB-D图像的机器人无标定2(0.44,0.79)(1.11,1.41)(0.42,0.65)视觉定位[J].计算机集成制造系统,2019,第25卷(8):20073(-0.78,0.02)(-1.31,0.11)(-0.40,0.10)-2015.4(-0.85,-0.32)(-0.90,0.08)(-0.60,0.18)[2]齐浪.基于机器视觉的螺纹孔识别定位及装配轨迹优化方法研究[D].西安:西安建筑科技大学,2020.5(-0.40,0.07)(-0.51,0.30)(-0.44,0.13)[3]王洪雁,邱贺磊,郑佳,等.光照变化下基于逆向稀疏表示的视6(-0.64,0.26)(-0.44,0.27)(0.09,0.14)觉跟踪方法[J].电子与信息学报,2019,41(3):632-639.7(0.18,-0.94)(0.08,-0.87)(-0.26,-0.55)[4]唐勇,王美林.基于改进YOLOv3的PVC皮革瑕疵检方法研究8(0.23,0.18)(1.10,0.11)(0.20,-0.01)[J].佳木斯大学学报(自然科学版),2022,40(02):119-122.[5]KrizhevskyA,SutskeverI,HintonGE.Imagenetclassifica-9(0.58,0.33)(0.57,0.42)(0.53,0.18)tionwithdeepconvolutionalneuralnetworks[J].Advances根据表3分别采用x轴、y轴方向最大误差和inneuralinformationprocessingsystems,2012,25.x轴、y轴平均误差和来评价优化指标如表4所示。[6]IandolaFN,HanS,MoskewiczMW,etal.SqueezeNet:表4最大误差与平均误差AlexNet-levelaccuracywith50xfewerparametersand<0.5MBmodelsize[J].arXivpreprintarXiv:1602.07360,2016.方法x最大误差y最大误差平均误差Hough法0.970.940.49一次定位1.311.410.63(下转174页)二次定位0.600.650.31对比可知,二次定位法最大误差相对于Hough法和一次定位的误差分别减少了33.0%和
4174佳木斯大学学报(自然科学版)2023年夜间灯光强度所表示出的特征贡献值在正负区域庭照明灯光外,道路灯光和景色关照灯等也会影响内分布情况相当,不具有显著的正相关关系,其原到夜间灯光值的分布,故其与对人口估算的贡献特因在于夜间灯光来源的复杂性,除了人口聚集的家征值的变化具有复杂变化的态势。图3住宅用地、生活服务和夜间灯光特征值与特征贡献值之间的关系化研究标准。3结论大数据、地理信息技术和数据融合手段的不参考文献:断改进和优化,为探究随机森林算法下的人口空间[1]郭子翰,陈斐,刘晓丽,等.基于土地利用类型提高人口格网数据空间精度的方法[J].测绘通报,2021(12):66-70.化提供了新的技术手段支撑。基于随机森林算法[2]刘正廉,桂志鹏,吴华意,等融合建筑物与POI数据的精细下的特征提取改进和对人口空间误差的控制,发现人口空间化研究[J].测绘地理信息,2021,46(05):102-106.模型估算的人口数值与实际数值之间相差不大,其[3]王美玲,张和生.基于珞珈一号夜间灯光数据的人口空间化数值多集聚在网格的左下角部分,且其拟合曲线Y研究[J].地理空间信息,2021,19(09):53-56+7.[4]成方龙,赵冠伟,杨木壮,等.集成地理探测器与随机森林模型=1.0269X-25.439的决定系数(0.863)可以解释的城市人口分布格网模拟[J].测绘通报,2020(01):76-81.因变量约86.3%的变异,人口分布呈现出“中心高[5]郑茹敏,梅林,姜洪强,等.基于随机森林模型的中国流动人值聚集-四周低值环绕”的空间格局。同时发现住口社会融合空间差异及影响因素[J].地理科学,2021,41宅用地特征数量与其特征贡献值之间呈现上升态(10):1763-1772.势,其最大值为4900;生活服务点的特征贡献值在[6]李昊,张和生,王美玲.基于NPP/VIIRS和LJ1-01夜间灯信息点核密度0.3之前是与密集程度成正比,但在光数据的人口空间化对比研究———以北京市为例[J].遥感信息,2021,36(05):90-97.核密度为0.3-0.9之间时,其数值基本维持在200[7]HlabC,ZgaB,JwaB,etal.GDPspatializationinNingbo-400之间;总体看来,基于随机森林算法建立的CitybasedonNPP/VIIRSnight-timelightandauxiliaryda-模型能较好探究人口空间分布及其影响机制,其将tausingrandomforestregression[J].AdvancesinSpaceRe-人口空间进行网格化处理的研究思路能较大程度search,2020,65(1):481-493.上提高人口估算值算法的精确度,丰富了后续人口■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■(上接120页)ResearchonCNN-IRLSAssemblyHolePositioningMethod*WANGXudong,HUANGHaibin(SchoolofMechanicalandAutomotiveEngineering,XiamenUniversityofTechnology,XiamenFujian361024,China)Abstract:Aimingatthedefects,reflectionsorinsufficientambientillumination,amethodofsecondarypositioningisproposedforprimarypositioningbyconvolutionalneuralnetwork(CNN),andthenusingtheimprovedIterativeReweightedLeastSquaresmethod(hereinafterreferredtoasIRLS)forscreeningandfitting.Inthefirstlocalization,theaccuracyandrecallrateofthetrainedmodelreached98.2%and97.4%,respectively,andtherecognitionratecombinedwiththesecondarypositio-ningwas99.1%,whichwas31.9%and15.5%higherthanthatofconventionalmorphologicalscreeningandtemplatematchingundercomplexlighting,respectively.Insecondarypositioning,themaximumpositioningerroroftheroundholeis0.65mm,andtheaverageerroris0.31mm.ComparedwiththeHoughmethodandCNNdirectpositioning,themaximumerrorwasreducedby33.0%and53.9%,re-spectively,andtheaverageerrorwasreducedby36.7%and50.8%,respectively.Keywords:convolutionalneuralnetwork;iterativereweightedleastsquares;holepositioning;robotactiveassembly
此文档下载收益归作者所有
举报原因
联系方式
详细说明
内容无法转码请点击此处