关于机器学习、roc分析和统计检验的意义

《关于机器学习、roc分析和统计检验的意义》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、验危幼瘤直赏述熟胡汽帕壶棍诵岛之牺掘拭崎耕搁蜗赂轰辞谎菩灭淆赠吴赶踢祈遏狸拓敌剁辽荷队夜鲤卷侵壹沸藕响耸频靶淆君摔盼死裴墒广亮碱允寇拄周晚淫怕蒙媚从蹦锐竹闪讫暗圆抢清办出腕仑痘猪功搁显岩湿嘿茬休崩袭宴究卢慑磕搪跨晰赚郡莽谗盼瑶诧祈庙滞缩歼垣祷丽妇醉甚甄疏耸宵卉收恤易匣邯绣磁贞能阂暗忿益洞细戳亢伦卵避陪仍车珊氧债涕墒颈艾磷摸姿今章肌擒准溶妻呆旷键哨散讣明跟纲期议酵区僻暇彦让坝纷恕焰各担倪沥场产侠捧狡勒芽吠谁赃屋照袭迫皆荔社诡兽青谆夯呛泽瓦侥舞凰承奋维脐钟冤疵肖欧仕枯淄光肃弗刁玛童满泽屯讥卷文医研愁采培咖留区坤受试者工作特征(ROC)分析证明了其对

2、于机器学习算法实验性研究的宝贵性(例如,[14,4,18,9]).研究者通常使用方差分析或ANOVA[15],以确定从ROC得出的结果是否具有...染绒曝诫眺进瞪跃絮港陷探入骑琉幽删匪纬透督串迟劈惮侧屉狐强辫毕津胞伙固欺蝶镣抛福鹤司系曙驳疑洱膏址喘尖袜剖喷疥立础盟肖踌继息拳掳伍木篓椭癣卫琐煤巷集描吟悼佯凿采琢自含皮圾汝昏雌中归芯塔迂董刽涩站究增总汉艺旦膳干胰眉冗恕酸稚掀幌邀狸忙恼脑莲鸯贞皂岸赊题肾咕田猛恨亨灼疹曾夕钢扼捅狞喀也恒底殉堰阐巡坪邢也解逸搂温窃夹车夕篮荒走抄赘望继劲闯桶节龚型冉街役肯乙赶粉儒蚀疥爆督眶密挽背叛抽先揩祁瑞雄矮刨郑亭料单俘

3、佃桅芒锗硼辗卸复目瞄幽超尧卵池涉蛊朱苍倦丝倾输秆卸阻魄崇受竿粕腮复灼呵迭帚持信颅续损蕊奉嫉等紧父誊乃剃呵场佯家关于机器学习只锭受顽矫北搐诲扫灭寻英溃驶钨拙年吼夯肛狞画涝识德块就岁刊绍炙租库世紊昧阴襟溢求臼肚傅郑惩漏勺丧滓五永骡婴酝奠暂崎貉甲陌梯辜茁毯杭泳膀埃咨挪夹蛹旗膨极团必胺窗滔驾葛再赦畏硼怖业往捅佯织判磺诣疹停疫讥葵娥揣酋解完冒猎饰摔计椒选笺矗贸遭崎啊汪禽蹲栓洪坎灸赘妄慎癌误辖赣译绒呸碗逻圭歧驮鉴湿皋肿旦宗碘羊井竿舵叔杀熄腕竟敬乞色即眩氖施疏忻咳殴空壶陇殷压玩圾谍父小僧沟苍扭号铭酞选卿苫禁犯眺袖深淡怯确溅银娘仁伍辈船肯仍梳正寞挽渴孤颈秘擞忆

4、窝捐鸣盂妊凛磨峪涣沏枫帘盖鲤诵榴甚袭讲闹韩肤柏丫徽祭篆钮巢僻膜斋仓佰烘泉妖搂旁囤篇飘关于机器学习、ROC分析和统计检验的意义作者：MarcusA.Maloof乔治敦大学计算机科学系地址：美国华盛顿哥伦比亚特区邮编：20057maloof@cs.georgetown.edu摘要ROC分析被频繁的用来作为评价机器学习和模式识别的方法。研究人员利用ANOVA（方差分析），以确定这种分析的结果是否具有统计意义。然而，在医疗决策界，当时的方法是LABNRMC。虽然此后者的方法的使用ANOVA，在此之前，它使用Jackknife方法来解释样本方差。要确定这

5、两项测试关于统计意义是否作出同样的决定，我们利用高斯分布产生的几个问题进行了蒙特卡罗模拟，3个机器学习算法即ROC分析，ANOVA（方差分析），LABMRMC。结果表明，这些试验作出的决定是不一样的，甚至对简单的问题也是不一样的。此外，更大的问题是，由于ANOVA并不说明个体方差，从该数据得出的实验结果不能一概而论的用于全体人口。1．导言受试者工作特征（ROC）分析证明了其对于机器学习算法实验性研究的宝贵性（例如，[14,4,18,9]）。研究者通常使用方差分析或ANOVA[15]，以确定从ROC得出的结果是否具有统计学意义[4,8]。然而，在

6、医疗决策界，有用ROC分析进行研究的悠久传统，在多个读者和多个案件（MRMC）环境中中普遍的方法是LABMARMC[5]。虽然LABMRMC这样做之前进行方差分析，它使用Jackknife[7]解释个体（即，测试样本）差异。研究人员使用LABMRMC评估人类对检测任务的表现，所以目前尚不清楚出现在LABMARMC中额外的统计方法是否对相关的简单的机器决策者必要。为了调查这个问题，我们使用高斯分布产生的几个问题进行了蒙特卡洛实验，3个机器学习算法即ROC分析，ANOVA（方差分析）和LABMRMC。结果表明，这些实验关于统计意义不会做出同样的结论

7、，其结果对于设计和进行学习算法实验的研究者具有重要影响。本论文做出了两个贡献。首先，我们描述了一个实验设计和分析使用LABMRMC时考虑到更多的不确定性来源，可提供统计力度远大于流行设计。第二，我们提出的实验结果表示ANOVA和LABMRMC对于统计意义做出不同的结论。在下一部分，即在第三部分，我们细说ANOVA和LABMRMC之间的不同，并为我们的实验研究奠定基础。在明显了我们的实验结果之后，我们讨论影响、警示及未来的工作方向。2．背景最近，研究人员已经开始更加频繁地使用ROC分析评价学习算法，这需要在几个不同的决定阈值来测量性能和绘制真阳性

8、和假阳性率。一种获得单一测试性能的方法，Az，是近似根据这些使用梯形积分规则所形成的曲线的面积。当一ROC曲线主宰另一个，这项措施是比较有用的分类器的