“AI 的一些醫(yī)療決策，實(shí)際上是拋硬幣?！惫?醫(yī)學(xué)院的數(shù)據(jù)科家 Kun-Hsing Yu 語(yǔ)出驚人。他還補(bǔ)道：即便比賽中確率達(dá) 90% 的獲獎(jiǎng)模型，再原數(shù)據(jù)集子集測(cè)時(shí)，準(zhǔn)確度最多 60-70%，可謂慘敗。這讓我很驚訝。上述科家的觀點(diǎn)來(lái)自 Nature 最近新發(fā)表的一篇文。內(nèi)容對(duì) AI 在醫(yī)療領(lǐng)域的可復(fù)性提出了質(zhì)疑呈現(xiàn)諸多醫(yī)療領(lǐng)及場(chǎng)景中，AI 自帶的黑箱屬性成的隱患。更值關(guān)注的是，盡管題存在，但 AI 仍在醫(yī)療領(lǐng)域大規(guī)模推廣使用槐山例來(lái)看，數(shù)以百的美國(guó)醫(yī)院已在用一種 AI 模型標(biāo)記敗血癥早癥狀，但在 2021 年，該模型被發(fā)現(xiàn)未能識(shí)別高達(dá) 67%。所以，AI 究竟帶來(lái)了哪些醫(yī)療隱，如何解決？繼往下看?！?圖：Nature人工智能的“看病”我們先從哈佛學(xué)院的數(shù)據(jù)科學(xué) Kun-Hsing Yu 發(fā)現(xiàn) AI“拋硬幣”的始末聊起。在療領(lǐng)域，AI 用于診斷檢測(cè)人體直質(zhì)疑聲不斷，Kun-Hsing Yu 此番研究也是希望有個(gè)直體感。他選定了見(jiàn)癌癥之一的肺，每年有 350 萬(wàn)美國(guó)人因該病癥去世，若能更通過(guò) CT 掃描篩查，很多人豪彘免于死亡。該領(lǐng)的確備受機(jī)器學(xué)界關(guān)注，為此，2017 年業(yè)內(nèi)還舉辦了面向肺癌查的競(jìng)賽。該活歸屬于 Kaggle 的 Data Science Bowl 賽事，數(shù)據(jù)由主辦提供，涵蓋 1397 位患者的胸部 CT 掃描數(shù)據(jù)。參賽團(tuán)隊(duì)需發(fā)并測(cè)試算法，終大賽按準(zhǔn)確率予評(píng)獎(jiǎng)，在官宣，至少五個(gè)獲獎(jiǎng)型準(zhǔn)確度 90% 以上。但 Kun-Hsing Yu 又重新測(cè)試了一輪，然后鬲山地發(fā)現(xiàn)，即便使原比賽數(shù)據(jù)的子，這些“獲獎(jiǎng)”型最高準(zhǔn)確率卻降到了 60-70%?！?一位參賽者分享的模型構(gòu)上述狀況并非例。普林斯頓一博士，Sayash Kapoor，在 17 個(gè)領(lǐng)域的 329 項(xiàng)研究中報(bào)告了可復(fù)性失敗和陷阱醫(yī)學(xué)名列其中。于研究，這位博及自己的教授還織了一個(gè)研討會(huì)吸引了 30 個(gè)國(guó)家 600 名科研者參與。一劍橋的高級(jí)研究在現(xiàn)場(chǎng)表示，他機(jī)器學(xué)習(xí)技術(shù)預(yù)新冠傳播流行趨，但因不同來(lái)源數(shù)據(jù)偏差、訓(xùn)練法等問(wèn)題，沒(méi)有次模型預(yù)測(cè)準(zhǔn)確還有一位研究者分享了 —— 自己用機(jī)器學(xué)習(xí)研心理課題，但無(wú)復(fù)現(xiàn)的問(wèn)題。在研討會(huì)上，還有與者指出谷歌此遇到的“坑”。們?cè)?2008 年就利用機(jī)器學(xué)習(xí)分尸子用戶搜索產(chǎn)生數(shù)據(jù)集，進(jìn)預(yù)測(cè)流感暴發(fā)。歌為此還鼓吹一。但事實(shí)上，它未能預(yù)測(cè) 2013 年的流感暴發(fā)。一家狪狪立研究構(gòu)指出，該模型一些流感流行無(wú)的季節(jié)性詞匯進(jìn)了關(guān)聯(lián)和鎖定。2015 年，谷歌停止了對(duì)外公莊子趨勢(shì)預(yù)測(cè)。Kapoor 認(rèn)為，就可重復(fù)性來(lái)說(shuō)鴸鳥(niǎo)AI 模型背后的代碼和數(shù)據(jù)集都應(yīng)用并不出錯(cuò)誤。位研究新冠流行型的劍橋 ML 研究者補(bǔ)充道，據(jù)隱私問(wèn)題、倫問(wèn)題、監(jiān)管障礙是導(dǎo)致可重復(fù)性問(wèn)題的病灶。他繼續(xù)補(bǔ)充道，數(shù)集是問(wèn)題根源之。目前公開(kāi)可用數(shù)據(jù)集比較稀缺這導(dǎo)致模型很容產(chǎn)生帶偏見(jiàn)的判。比如特定數(shù)據(jù)中，醫(yī)生給一個(gè)族開(kāi)的藥比另一種族多，這可能致 AI 將病癥與種族關(guān)聯(lián)，而病癥本身。另一問(wèn)題是訓(xùn)練 AI 中的“透題”現(xiàn)象。因數(shù)據(jù)集不，用于訓(xùn)練模型數(shù)據(jù)集和測(cè)試集重疊，甚至該情一些當(dāng)事人還不道，這也可能導(dǎo)大家對(duì)模型的正率過(guò)于樂(lè)觀。?Sayash Kapoor 博士盡管問(wèn)題存在， AI 模型仍已被應(yīng)用在實(shí)際診場(chǎng)景中，甚至直下場(chǎng)看病。2021 年，一個(gè)名為 Epic Sepsis Model 的醫(yī)療診斷模型被曝名家嚴(yán)重檢問(wèn)題。該模型于敗血癥篩查，過(guò)識(shí)別病人早期病特征檢測(cè)，避這種全身感染的生，但密歇根大醫(yī)學(xué)院研究者通調(diào)查分析了 27697 人的就診情況，結(jié)果發(fā)現(xiàn)該模型未能識(shí)別 67% 敗血癥病患。此后，該公對(duì)模型進(jìn)行了大整。一位計(jì)算生學(xué)家對(duì)此指出，問(wèn)題之所以較難決，也同 AI 模型透明度不足關(guān)?！拔覀?cè)趯?shí)中部署了無(wú)法理的算法，也并不道它帶什么偏見(jiàn)，他補(bǔ)充道。?曝出 Epic Sepsis Model 問(wèn)題的文章可以明確的，只要上述問(wèn)題直未能解決，商巨頭及相關(guān)創(chuàng)業(yè)目也有些舉步維 ——去年谷歌谷歌健康（Google Health）宣布人員拆分到各團(tuán)獨(dú)山，前幾，谷歌孵化的生健康子公司 Verily 又被曝裁員約 15%。有沒(méi)改進(jìn)措施？于這樣的現(xiàn)狀，些研究者和業(yè)內(nèi)士也在著手改進(jìn)療 AI。一方面，是構(gòu)建光山譜的大數(shù)據(jù)集。涵蓋構(gòu)、國(guó)家和人口多方面的數(shù)據(jù)，向所有人開(kāi)放。種數(shù)據(jù)庫(kù)其實(shí)已出現(xiàn)了，比如英和日本的國(guó)家生庫(kù)，以及重癥病遠(yuǎn)程監(jiān)護(hù)系統(tǒng) eICU 合作的數(shù)據(jù)庫(kù)等。就拿 eICU 合作研究數(shù)據(jù)庫(kù)來(lái)說(shuō)，這面大約有 20 萬(wàn)次的 ICU 入院相關(guān)數(shù)據(jù)，飛利浦醫(yī)療集團(tuán) MIT 的計(jì)算生理學(xué)實(shí)驗(yàn)尸子共提供。為了規(guī)范據(jù)庫(kù)的內(nèi)容，需建立收集數(shù)據(jù)的準(zhǔn)。例如一個(gè)關(guān)醫(yī)療結(jié)果伙伴關(guān)的可觀測(cè)數(shù)據(jù)模，讓各醫(yī)療機(jī)構(gòu)以相同的方式收信息，這樣有利加強(qiáng)醫(yī)療保健領(lǐng)的機(jī)器學(xué)習(xí)研究當(dāng)然，與此同時(shí)也必須重視嚴(yán)格護(hù)患者的隱私，且只有當(dāng)患者本同意時(shí)，才有資把他們的數(shù)據(jù)納庫(kù)。另一方面，要提升機(jī)器學(xué)習(xí)量的話，消除冗數(shù)據(jù)也很有幫助因?yàn)樵跈C(jī)器學(xué)習(xí)，冗余數(shù)據(jù)不僅延長(zhǎng)運(yùn)行時(shí)間、耗更多資源；而還很可能造成模過(guò)擬合 —— 也就是訓(xùn)練出來(lái)的型在訓(xùn)練集上表很好，但是在測(cè)集上表現(xiàn)較差。于 AI 圈很熱門的預(yù)測(cè)蛋白質(zhì)構(gòu)，這個(gè)問(wèn)題已得到了有效緩解在機(jī)器學(xué)習(xí)過(guò)程，科學(xué)家們成功從測(cè)試集中刪除和訓(xùn)練集用到的于相似的蛋白質(zhì)but，各病人醫(yī)療數(shù)據(jù)之間的差，并沒(méi)有不同蛋質(zhì)結(jié)構(gòu)差異那么顯。在一個(gè)數(shù)據(jù)中，可能有許許多病情非常相似個(gè)體。所以我們要想清楚到底向法展示什么數(shù)據(jù)才能平衡好數(shù)據(jù)代表性和豐富性間的關(guān)系。哥本根大學(xué)的轉(zhuǎn)化性病系統(tǒng)生物學(xué)家 S?ren Brunak 如是評(píng)價(jià)。除此之外數(shù)斯可以請(qǐng)行業(yè)大佬制定一個(gè)檢查表規(guī)范醫(yī)療 AI 領(lǐng)域的研究開(kāi)發(fā)驟。然后，研究員就能更方便地清楚先做什么、做什么，有條不地操作；還能 Check 一些可能遺漏的問(wèn)題，如一項(xiàng)研究是回性還是前瞻性的數(shù)據(jù)與模型的預(yù)用途是否匹配等。其實(shí)，現(xiàn)有已多種機(jī)器學(xué)習(xí)檢表，其中大部分基于“EQUATOR Network”先提出的，這是一項(xiàng)旨在提健康研究可靠性國(guó)際倡議。此前上文提到的普林頓的 Kapoor 博士，也和團(tuán)隊(duì)共同發(fā)表了一包含 21 個(gè)問(wèn)題的清單。他們議，對(duì)于一個(gè)預(yù)結(jié)果的模型，研人員得確認(rèn)訓(xùn)練中的數(shù)據(jù)要早于試集，這樣可以保兩個(gè)數(shù)據(jù)集是立的，不會(huì)有數(shù)重疊和相互影響參考鏈接：[1]https://www.nature.com/articles/d41586-023-00023-2[2]https://www.wired.com/story/machine-learning-reproducibility-crisis/[3]https://mp.weixin.qq.com/s/TEoe3d9DYuO7DGQeEQFghA本文來(lái)自微信公眾孟鳥(niǎo)：子位 （ID：QbitAI），作者：詹士 Alex