天府网评决战决胜要打出监督“组合拳”

【地评线】天府网评:决战决胜要打出监督“组合拳”

决战决胜之年,脱贫攻坚是一项政治任务,也是一项民生工程。攻克最后的堡垒,啃下这块“硬骨头”,既要较真碰硬的督,也要真抓实干的战,更要打好作风监督组合拳,盯住关键环节、重点区域,抓好专项治理、问题整改,以严、细、深、实的作风为打赢脱贫攻坚收官之战提供坚强纪律保障。

雷锋网原创文章,。详情见转载须知。

为了证明自己的观点,Luke Oakden-Rayner博士依次对“标签的准确度”、“标签的医学意义”、“标签对于图像分析的重要性”等三个问题进行了论述。

不过,围绕这篇论文的争论却没有散去,有学者站出来公开支持LeCun,质疑这篇论文的实际价值。(后期,雷锋网(公众号:雷锋网)将对纽约大学的这篇论文进行编译和解读)

当然,这个事儿错不在谷歌。

巴塞罗那大学机器学习和CV领域的教授Gabriel Oliveira就表示,如果我们不能访问数据集或代码,我们应该如何重现结果或验证它?尽管如此,任何在帮助抗击癌症方面取得的进展和付出的努力都是受欢迎的,所以祝贺谷歌这个团队。

雷锋网查看了一下LeCun的账号,直到1月3日中午11点半,LeCun还在转发帖子,看来对这件事有着一股深深的执念。

拆台“知名”医疗AI论文的现象一直存在。

这个系统的核心亮点是,与之前的模型相比,该模型有效减少了乳腺癌被错误识别或遗漏的情况,将乳腺癌检测的假阳性率降低了5.7%,假阴性率也降低了9.4%,并号称击败了6名全日制的放射科医生。

“敢说、敢怼”的批判者

谷歌经常会在某些领域“超越”医生。

所以,以后对于类似的“准确率超过99%”、“超过医生水平”的话术,我们看看就好。毕竟,AI想要达到或者超过医生的水平,还有很多事情要做。

当然,有人反对,也就有人支持。

除了数据集,AI如何能够按照人类尤其是医生的思维来得出结论,其实更加重要。斯坦福大学皮肤科的 Novoa 博士也举了一个例子讨论过这个问题:

据介绍,山东省引导群众改变就医方式,加强互联网诊疗咨询服务工作,“健康山东服务号”对接537家医院线上发热门诊,接入线上医生1.5万人,累计接诊8.2万人次,有效分流了患者,减少了聚集风险。

雷锋网了解到,2017年12月,吴恩达团队就宣布,利用CNN算法识别肺炎的准确率上超越了人类专业医师。紧接着,阿德莱德大学的放射科在读博士Luke Oakden-Rayner就发表文章,质疑吴恩达团队医学影像数据集的可用性问题。

可以发现,准确率Accuracy和精确率Precision严重依赖于样本总数里阳性和阴性的配比,举个极端的案例,设计一个系统,对于所有的输入都报阳性,即敏感度为100%,特异度为0,这就是个没有实际用处的系统,那么此时取100个测试样本中,99个为阳性,1个为阴性,此时计算出的准确率为99%,精确率也是99%。

所以,对于谷歌能够击败击败了6名放射科医生,相信LeCun也会有自己的看法。

不过,作为深度学习领域的领军人物,对于人工智能的未来,LeCun的措辞一向很谨慎,“AI离我们的目标还非常远,还达不到我们想要的效果”。

准备率99%靠谱吗?

DeepMind的负责人Hassabis回复LeCun说,我们引用了这篇论文,LeCun 应该先看清结果再喷。后面LeCun也解释了,这个确实没看到。

我们要知道,计算机工程界常用的评价指标有两个:

监督要紧盯重点。监督既要注重面上的作风监督,也要注重点上的重点监督,要坚持问题导向,在解决问题中去落实监督责任。既要持续深化脱贫攻坚纪律作风保障年活动,坚决克服形式主义、官僚主义,也要着力解决督查考核多、表格清单多等实际问题,切实减轻基层负担,推动脱贫工作的重心落在“户”上。要深入推进扶贫领域反腐败工作,持续开展扶贫项目、资金等领域突出问题专项治理,切实抓好警示教育,健全跟踪监督机制。(作者系四川在线特约网评员)

2019年,LeCun与Hinton教授以及Bengio教授三人共同获得了2019年图灵奖,将共同拿到100万美元的奖金。

深度学习三巨头之一的LeCun首先站了出来。

监督要精准有效。决战决胜,任务重,难度大,越是在这个时候,越是要强化作风纪律,越是要亮出监督利剑。脱贫攻坚事关党和国家工作大局,事关民生福祉,事关乡村振兴发展,作为纪检监察部门既要主动参与到脱贫攻坚这场战役中来,也要发挥自身的职能作用。针对人民群众反映的热点难点问题,针对脱贫攻坚中的一些突出问题,尤其是要针对扶贫领域作风和腐败问题,实施精准监督、有效监督,把监督重点聚力聚焦脱贫攻坚战,聚力聚焦各级干部的作风建设,聚力聚焦到脱贫攻坚的具体工作和相关环节,为决战决胜脱贫攻坚提供坚强纪律保障。既要认真监督,更要精准监督,重点监督,有效监督,释放出强大的监督合力。

LeCun在质疑什么?

而数据集、思维方式、评价指标,这些都是医疗AI绕不开的问题。

目前累计追踪到密切接触者10933人,当日解除隔离医学观察45人,现有336人正在接受隔离医学观察。

山东省进一步规范医疗废物的收集贮存、转运处置、消毒处理等,定点医院医疗废物做到了日产日清。针对农贸市场、背街小巷、老旧小区等重点区域的卫生死角,深入开展城乡环境卫生专项整治活动,截至2月下旬,全省累计清运垃圾175.86万吨;派出468万余人次进行现场消杀,消杀面积410万余平方米。

当皮肤科医生查看一种可能是肿瘤的病变时,他们会借助一把尺子——就是你在小学时用的那种——来准确测量它的大小。皮肤科医生这样做是为了查看病灶。因此,在一组活检图像中,如果图像中有尺子,算法更可能将其判断为恶性肿瘤,因为尺子的存在与病症癌变的可能性相关。

他纠结的一个点在于,谷歌这篇论文的结果,纽约大学的团队在2019年10月就已经做过了。如果谷歌要发表这篇文章,就应该引用NYU的研究内容。

因此,现实中,做出一个敏感度高特异度不高,或者反之的系统是很容易的,可以轻松的调整测试样本的阳性阴性比例来优化其准确率和精确率值。

在此之前,2017年,谷歌医疗AI在乳腺癌诊断中表现超过人类专业病理检验师。次年,谷歌发布一款针对晚期乳腺癌的人工智能检测系统,可以在99%的情况下正确区分转移性癌症。

要知道,当时的ChestX-ray14 已经是最大的开放式胸透照片数据集,包含 14 种疾病的 10 万张前视图 X-ray 图像。

上面的这些话都还算客气,不过Hugh Harvey最后一句可就不留情面了:“只是纽约大学的学者们没有PR团队来引起公众的注意罢了。”

Hugh Harvey说到,虽然我们要向谷歌表示祝贺,但是不要忘了,去年纽约大学的团队就取得了更好的结果,有更多的数据验证,和更多的放射科医生进行了对比。并且,纽约大学的代码和数据都开源了。

监督要压实责任。监督既要针对脱贫攻坚中的一些重大项目和重要工作,也要针对各级领导干部,尤其是一线扶贫的干部。要督促各级领导干部始终坚持实事求是,坚定人民立场,发扬严实作风,督促各级各部门把党中央、省委关于脱贫攻坚的各项政策举措落到实处、惠及百姓。纪检监察部门的同志既要迅速成立工作专班,下沉贫困村一线开展督战督导,也要在脱贫攻坚的具体工作中去监督各级领导干部主动压紧压实脱贫攻坚政治责任,始终做到坚守初心使命,深耕自己的责任田,做到守土有责、守土担责、守土尽责。做到层层压实责任,层层担当责任,才能激发各级干部的内生动力,才能更好推动脱贫攻坚。

在去年ISSCC(国际固态电路会议)学术会议上发言时,这位“敢说、敢怼”的AI大牛就顺便批判了英特尔神经形态计算实验室主任Mike Davies在搞的神经形态计算,后面自然引起了一场“隔空对战”。

虽然名誉加深,不过LeCun一直以来就是一个批判者,经常会公开发表不同的意见。

Accuracy  (准确率):判断正确的样本数与总样本数之间的比例。计算方法为,系统正确判断为阳性与正确判断为阴性的数量之和除以总样本数量。 Precision  (精确率):系统判断为阳性的情况中正确的比例。计算方法为,系统正确的判断为阳性的数量除以系统判断为阳性的总数量。 Recall (召回率):等同于敏感度。

但是,昨天的这条消息热度还没持续48个小时,就有大牛站出来质疑。

此外,山东省已向一线医务人员发放专项慰问金920万元,拨付专项经费40余万元用于援助湖北一线医务人员生活保障,统筹做好援助湖北医疗队轮休。

不幸的是,Novoa 强调,该算法不知道为什么这种相关性是有道理的,所以很容易误解为一把随机的尺子是诊断癌症的根据。

而就在上文中,谷歌此前提到的“晚期乳腺癌的人工智能检测系统,可以在99%的情况下正确区分转移性癌症”,也存有疑问。

医学是讲证据的学科,如何证明一项临床成果的先进性,实用性和稳定性,需要工程团队给出充分的理由。就“击败医生”这件事而言,在目前看来还很遥远。“窥一斑而见全豹”这样的方式,并不适用于以“循证”为特征的医学领域。