哈佛大学的一位数据科学家Kun-Hsing说:“AI的一些医疗决策,实际上就是抛硬币。”他的看法来源于 Nature最新一期的论文,内容对AI在医学上的应用前景产生了怀疑,并指出了很多医学领域和应用中AI的缺陷。更令人担心的是,人工智能虽然有问题,但是仍然广泛地应用于医学。例如,数百家美国的医院已经开始利用 AI模式对败血症早期症状感染初期的感染进行标识,但是到了2020年,这种模式的辨识失败的概率达到了67%。那么, AI究竟带来了哪些医疗隐患,该怎么处理呢?

在医学上, AI对人体的诊断和测试有着很大的争议,Kun-Hsing的这次的调查也是为了让自己的身体感觉更好一些。他选择了一种最普遍的癌症——肺癌,这是一种每年导致350万美国人死去的疾病,如果尽早通过CT扫描仪能使许多人避免生命危险。这个研究方向确实受到了机器学习行业的重视,为此,在2017的时候,业界还组织了一场针对肺部疾病的检测比赛。这项比赛是 Kaggle的 DataScience Bowl比赛,其资料是组织者所为,包含1397名病人的 CT资料。各参赛队需要对算法进行分析和验证,最后根据正确的结果来评定,其中五个奖项的正确率在90%之上。但是,Kun-Hsing再次进行了一次检测,结果令人吃惊的是,即使是利用原有的数据,“获奖”的模式的最大精确度也会降低到60%到70%。

普林斯顿一位博士,Sayash Kapoor,在17个领域的329项研究中报告了可重复性失败和陷阱,医学名列其中。基于研究,这位博士及自己的教授还组织了一个研讨会,吸引了30个国家600名科研者参与。一位剑桥的高级研究员在现场表示,他用机器学习技术预测新冠传播流行趋势,但因不同来源的数据偏差、训练方法等问题,没有一次模型预测准确。还有一位研究者也分享了——自己用机器学习研究心理课题,但无法复现的问题。在该研讨会上,还有参与者指出谷歌此前遇到的“坑”。
普林斯顿大学的一名博士生 Sayash Kapoor报道了17个方面的329个实验,包括重复的失败和陷阱,医学名列其中。以此为基础,他和他的导师们举办了一次由30个不同国家600人参加的学术讨论会。一名来自英国剑桥大学的资深研究人员说,他使用了机器学习技术,对新型冠状病毒的流行病学进行了分析,但是由于数据的偏差、训练方法等方面的原因,这些数据都无法对其进行精确的预报。另一名研究员也在这里和大家交流,他使用了一种机器学习方法,但是却不能重现。在这个讨论会上,其他的与会者也提到了谷歌以前碰到的那些“坑”。

他们继续补充道,数据集是问题根源之一。目前公开可用的数据集比较稀缺,这导致模型很容易产生带偏见的判断。比如特定数据集中,医生给一个种族开的药比另一个种族多,这可能导致AI将病症与种族关联,而非病症本身。
他们还说,问题的来源就是数据集。现有资料的缺乏使得该模式易于做出有偏差的判决。例如在某一特定的资料里,一个人的药物会多于其他的人,这会让 AI把病症与种族联系在一起,而不是病症本身。
另外,人工智能在“透题”方面的问题也是存在的。由于资料集合的缺乏,所使用的资料集合与测试集合的集合有一定的重合,有些参与者并不知情,这也使得人们对模型的准确度过分的乐观。