助理教授MarzyehGhassemi探讨了医疗数据中隐藏的偏见如何影响人工智能的方法。MarzyehGhassemi在麻省理工学院计算机科学专业的论文中撰写了多篇关于如何将人工智能的机器学习技术应用于临床数据以预测患者结果的论文。“直到我的博士研究结束时，我的一位委员会成员才问，'你检查过你的模型在不同人群中的效果如何吗？'”这个问题让Ghassemi大开眼界，他之前评估过所有patients模型的整体性能。仔细观察后，她惊讶地发现，这些模型对于黑人女性所属的群体的效果往往不同——尤其是更糟。“我事先并没有将健康差异直接与模型差异联系起来，”她说。“鉴于我是麻省理工学院的一名少数族裔女性计算机科学家，我有理由相信很多其他人也不知道这一点。”1月14日发表于《模式》(Patterns)在上周发表的一篇论文中，Ghassemi（她于2017年获得博士学位，现为麻省理工学院电气工程与计算机科学系和麻省理工学院医学研究所的助理教授）工程与科学(IMES)）和她的合著者——波士顿大学的ElaineOkanyeneNsoesie对人工智能在医学中的前景提出了警告。“如果谨慎使用，这项技术可以改善医疗保健绩效并可能减少不公平现象，”Ghassemi指出。“但如果我们不小心，这项技术可能会使医疗状况恶化。”考虑到人工智能倾向于通过处理和分析大量数据来训练自己，所以一切都可以归结为数据。但他们获得的数据是由人类生成的，而人类是善变的，他们的判断可能会在他们不知情的情况下，因与之互动的患者的年龄、性别和种族而蒙上阴影。.此外，医疗状况本身也存在很大的不确定性。Ghassemi说：“在同一所医学院接受过十年培训的医生通常会对患者的诊断意见不一。”这不同于现有机器学习算法的应用——比如物体识别任务——因为世界上几乎每个人都会同意狗就是狗。机器学习算法在掌握国际象棋和围棋等游戏方面也表现出色，这些游戏的规则和“获胜条件”定义明确。然而，医生并不总是对治疗病人的规则达成一致，甚至“健康”的标准也缺乏广泛的共识。“医生知道生病意味着什么，”Ghassemi解释说，“而且我们拥有关于人们什么时候病得最严重的最多数据。但是我们没有从健康人那里得到太多数据，因为人们在健康时不太可能去看医生。“即使是机械设备也会带来数据差距和治疗差异。例如，脉搏血氧仪主要针对浅肤色人群进行校准，但无法准确测量深肤色人群的血氧水平。当氧气水平较低时，这些缺陷就出现在他们最敏锐和最准确的读数恰恰是在最紧急的时候。同样，女性在“金属对金属”髋关节置换术中面临更大的风险，Ghassemi和Nsoesie写道，“部分原因是植入物在设计中没有考虑解剖差异.这样的事实可能隐藏在输入计算机模型的数据中，其输出结果会被破坏。Ghassemi说，其产品来自计算机的机器学习算法提供了“客观性的黎明”。但这可能具有欺骗性而且很危险，因为发现输入计算机的大量错误数据比忽视可能不称职（并且可能是种族主义）医生的建议更难。”“问题不在于机器学习本身，”她坚持说，“而是人。人类护理人员有时会产生错误的数据，因为他们并不完美。尽管如此，她仍然相信机器学习可以在医疗保健领域带来更有效、更公平的建议和实践。实现医疗保健机器学习承诺的关键是提高数据质量，这并非易事。Ghassemi说：“想象一下，如果我们可以从表现最好的医生那里获取数据，并与其他受过较少培训和经验的医生分享这些数据，我们真的需要收集这些数据并进行审核。她指出，这里的挑战在于，有没有对数据收集的激励或奖励。“为此获得资金或要求学生花时间并不容易。数据提供者可能会说，'当我可以将数据出售给公司时，我为什么要免费提供我的数据数百万美元？但是研究人员应该能够访问数据而不必处理诸如以下问题：“我需要获得什么文件的许可才能换取您访问我机构的数据？”“获得更好的医疗保健的唯一方法是变得更好数据，”Ghassemi说，“并获得更好的数据。唯一的方法就是鼓励数据的发布。”这不仅仅是数据收集的问题。还有谁将收集和审查数据的问题。Ghassemi建议召集不同的研究小组——临床医生、统计学家、医学伦理学家和计算机科学家——首先收集不同的患者数据，然后“专注于开发公平合理的医疗保健改进，这些改进不仅可以在一个方面实现，还可以在先进的部署中进行”医疗环境，并且可以部署在广泛的医疗环境中。”她说，这篇文章的目的并不是要阻止技术人员将他们在机器学习方面的专业知识带到医学领域。“他们只需要认识到治疗中出现的差距，以及在批准特定计算机模型之前应该考虑的其他复杂因素。”
