《柳葉刀》文章:AI診斷系統可能輸出帶有種族偏見的結果

麻省理工學院和哈佛大學的一個研究團隊在醫學雜誌《柳葉刀數字健康》上發表文章,稱AI程序可以從X射線和CT掃描結果中分辨患者的種族,準確率高達90%。這並不是一個好消息,因為連科學家們都沒弄清楚這些AI程序是如何做到分辨種族的。

原標題:AI也會種族歧視?《柳葉刀》文章:AI診斷系統可能輸出帶有種族偏見的結果

“當我的研究生向我展示這篇論文中的某些結果時,我認為這一定出了差錯。”負責分析對應主題的論文作者之一,麻省理工學院助理教授Marzyeh Ghassemi告訴媒體,“當他們告訴我的時候,我真的以為我的學生瘋了。”

《柳葉刀》文章:AI診斷系統可能輸出帶有種族偏見的結果

Marzyeh Ghassemi

這篇文章中提到,AI診斷系統似乎會根據種族對患者進行診斷和治療,而非患者的個人身體狀況。

這種做法將會損害患者的健康。

研究人員提到一個案例,AI程序在檢查胸部X光片時,漏掉黑人和女性患者身體病變的幾率更高。

而這項研究的目的,正是確認AI系統從醫學影像中檢測人類種族的程度,以及它們如何從中檢測出種族信息。

為此,研究團隊使用人類身體不同部位的醫學圖像對AI系統進行訓練。被提供給AI系統的醫學影像中,不包含頭髮質地、膚色以及BMI或骨密度等明顯的種族標記。

通過測試,研究人員發現,AI系統對人類種族的識別準確率高達90%。不論是哪個身體部位的醫學影像,AI系統都能從中識別出種族信息。

更令人驚訝的是,即便是嚴重缺失或損壞的醫學影像,AI系統也能從中準確識別種族。

研究人員更關心的,並非是AI系統能夠檢測人類種族這件事情本身,而是AI系統的臨床表現將因為這些種族偏見受到影響。而醫生可能會忽略AI系統診斷結果中的誤差。

文章的作者表示,“AI預測種族身份的能力本身並不重要,但是這種能力很可能存在於許多醫學影像分析模型中,這將會使臨床中已經存在的種族差異問題惡化。”

人類目前還無法確認AI系統從醫學影像的哪些特徵中檢測出患者的種族,加之AI能夠從身體任何部位的醫學影像,以及嚴重損壞的醫學影像中識別患者種族,這意味着使用醫學成像技術創建一個沒有種族偏見的AI系統將會非常困難。

Ghassemi告訴媒體,她猜測,也許是醫學圖像以某種未知方式記錄了患者皮膚中黑色素的水平,從而被AI系統識別。

根據研究結果,也有可能是種族之間存在一些先天的差異。

罕布什爾學院生物人類學教授、《種族主義不是種族》的作者之一Alan Goodman告訴媒體,他不太認同這種說法。

《柳葉刀》文章:AI診斷系統可能輸出帶有種族偏見的結果

Alan Goodman

在過往的研究中,科學家們很難在人類基因組中找到一致的種族差異,但往往能根據人類祖先的進化找到一致的遺傳差異。因此,人與人之間的基因差異,更大概率是源於人類個體祖先進化的不同特徵,而非種族。

Ghassemi表示,這一問題還需要進行更多的研究才能得出明確的結論。

“我們需要暫停AI系統的落地,”麻省理工學院的科學家、醫生Leo Anthony Celi說,“在確認AI系統沒有做出種族主義決定或性別歧視決定之前,我們不能急於將其帶入醫院和診所。”

(0)
上一篇 2022-06-01 16:24
下一篇 2022-06-01 16:28

相关推荐