提示: 手机请竖屏浏览!

临床医师和人工智能中的数据集偏移
The Clinician and Dataset Shift in Artificial Intelligence


其他 • 2021.07.15
相关阅读
• 人工智能从眼底照片中检测视乳头水肿 • 人工智能辅助的内镜超声检查可鉴别肝脏良性与恶性肿块 • 人工智能可否改善乳腺X线筛查的表现

致编辑:

人工智能(AI)系统如今常被用于医疗机构1,但监管情况并不统一,也不完善2,3。临床AI的安全部署需要有具备相关知识的临床医师用户,他们常负责发现和报告新出现的问题。临床医师可能也担任管理临床AI应用的管理员。下面的问题自然随之而来:临床医师是否已做好充分准备,可以发现AI系统未能执行其预期功能的情况?

导致AI系统故障的一个主要因素被称为“数据集偏移”4,5。目前大多数临床AI系统使用机器学习,这是一种运用统计学方法从临床数据中学习关键模式的算法。机器学习系统可因开发时的数据集和部署时的数据不匹配而性能不佳,此时就会发生数据集偏移4。例如,美国密歇根大学医院采用了由Epic Systems开发,并且广泛使用的脓毒症警报模型,2020年4月,由于与COVID-19疫情相关的患者人口统计学特征变化,该模型发出虚假警报,之后医院不得不将其停用。在上述情况下,数据集偏移从根本上改变了发热和细菌性脓毒症之间的关系,因此医院的临床AI管理委员会(本文作者之一是该委员会主席)停用了该模型。这是一个极端案例,导致数据集偏移的许多原因十分细微。在表1中,我们列出了导致数据集偏移的常见原因,我们将其分成技术变化(如软件供应商)、人群和环境变化(如新的人口统计学特征)和行为变化(如对于报销的新激励因素),该表未能详尽列出所有原因。





作者信息

 

参考文献

1. Rajkomar A, Dean J, Kohane I. Machine learning in medicine. N Engl J Med 2019;380:1347-1358.

2. Ross C. Hospitals are using AI to predict the decline of Covid-19 patients — before knowing it works. Stat. April 24, 2020 (https://www.statnews.com/2020/04/24/coronavirus-hospitals-use-ai-to-predict-patient-decline-before-knowing-it-works/).

3. Artificial intelligence/machine learning (AI/ML)-based software as a medical device (SaMD) action plan. Silver Spring, MD: Food and Drug Administration, January 2021 (https://www.fda.gov/media/145022/download).

4. Subbaswamy A, Saria S. From development to deployment: dataset shift, causality, and shift-stable models in health AI. Biostatistics 2020;21:345-352.

5. Saria S, Subbaswamy A. Tutorial: safe and reliable machine learning. In: Proceedings of the conference on fairness, accountability, and transparency, January 29–31, 2019. New York: Association for Computing Machinery, 2019.

服务条款 | 隐私政策 | 联系我们