Uri Shalit 发文称：标准化逻辑回归和深度学习一样好.doc

《Uri Shalit 发文称：标准化逻辑回归和深度学习一样好.doc》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、UriShalit发文称：标准化逻辑回归和深度学习一样好　　谷歌用深度学习分析电子病例的重磅论文给出了一个意外的实验结果，DNN与逻辑回归效果一样，引发了热烈讨论。不仅如此，最近Twitter讨论最多的论文，是UC戴维斯和斯坦福的一项合作研究，作者发现神经网络本质上就是多项式回归。下次遇到机器学习问题，你或许该想想，是不是真的有必要用深度学习。　　近来，谷歌一篇关于使用深度学习进行电子病例分析的论文，再次引发热议。　　起因是以色列理工学院工业工程与管理学院的助理教授UriShalit在Twitter上发文，指出

2、这篇论文的补充材料里，有一处结果非常值得注意：标准化逻辑回归实质上与深度神经网络一样好。　　　　UriShalit的研究方向是将机器学习应用于医疗领域，尤其是在向医生提供基于大型健康数据的决策支持工具方面。其次，他也研究机器学习和因果推断的交集，重点是使用深度学习方法进行因果推断。在加入以色列理工学院以前，他先后在DavidSontag教授在纽约大学和在MIT的临床机器学习实验室当博士后。UriShalit说的补充材料中的结果是指这个：　　　　其中，基线aEWS（augmentedEarlyWarningSco

3、re）是一个有28个因子的逻辑回归模型，在论文作者对预测患者死亡率的传统方法EWS进行的扩展。而Fullfeaturesimplebaseline则是UriShalit说的标准化逻辑回归。　　注意到基线模型（红框标识）和深度模型在AUCs置信区间的重叠了吗？　　UriShalit表示，他由此得出的结论是，在电子病例分析这类任务中，应该选择使用逻辑回归，而不是深度学习，因为前者更加简单，更具可解释性，这些优点要远远胜过深度学习带来的微小的精度提升。　　或者，UriShalit补充说，这表明我们目前还没有找到正确的

4、深度学习结构，能实现在图像、文本和语音建模领域中那样的性能提升。　　谷歌首篇深度学习电子病历分析论文，JeffDean等大牛扛鼎之作，结果出人意料　　谷歌的这篇论文“ScalableandAccurateDeepLearningforElectronicHealthRecords”，发表在自然出版集团（NPG）旗下开放获取期刊npJDigitalMedicine上，由JeffDean率队，联合UCSF、斯坦福、芝加哥大学众多大牛，与全球顶级医学院联合完成，从题目到作者都吊足了大家的胃口。　　　　实际上，早在今年

5、初，新智元就介绍过这篇论文，当时它还只是挂在arXiv上，康奈尔大学威尔医学院助理教授王飞对当时的arXiv版本进行了解读。　　这项工作是在UCSF和UChicago这两大医院系统的电子病历数据上，用深度学习模型预测四件事：1）住院期间的死亡风险；2）规划之外的再住院风险；3）长时间的住院天数；4）出院的疾病诊断。　　文章仔细介绍了实验信息，例如如何构建病人队列、特征如何变换、算法如何评价等等。对于每一个预测任务，作者也都选取了临床上常用的算法作为基线来进行比较，例如评价死亡风险的EWS分数，以及评价再住院风险

6、的HOSPITAL分数，并对这些模型做了微小的改进。最终结果，作者提出的深度学习模型在各项任务中都显著优于传统模型（AUC普遍提高0.1左右）。　　　　论文插图：使用深度学习预测病人住院期间死亡风险，深度学习（实线）在前后24小时时间范围内，都比基线水平（虚线）准确率更高。　　如果说这次在同行评议期刊发表出的论文与之前的arXiv版本有什么不同，最大的就是给出了15页的补充资料，展示了深度学习方法与各种基线的具体数值。　　谷歌这篇论文的初衷，是强调直接从FHIR数据中进行机器学习（“我们提出了一种对病人整个基于

7、FHIR格式的原始EHR的表示”）。正如论文中所写的那样，其方法的原创性并不仅仅在于对模型性能的提升，而是“这种预测性能是在没有对专家认为重要的那些变量进行手动选择的情况下实现的……模型访问每位患者数以万计的预测因子，并从中确定哪些数据对于进行特定的预测非常重要”。　　但是，从论文的一些表述，尤其是标题中，难免有宣传深度学习的嫌疑，也是这次争议重点所在。　　UC戴维斯和斯坦福新研究，首次证明神经网络=多项式回归　　现如今，深度神经网络已经成了很多分析师进行预测分析的首选。而在大众媒体里，“深度学习”也几乎可以算

8、得上“人工智能”的同义词。　　深度学习的热潮或许仍在持续，但很明显，越来越多的人开始冷静下来思考并且质疑。　　在一篇最新公布的文章里，加州大学戴维斯分校和斯坦福的研究人员便指出，神经网络本质上是多项式回归模型。他们的文章取了一个谨慎的标题《多项式回归作为神经网络的代替方法》（PolynomialRegressionAsanAlternativetoNeuralNets），对神经网络的众