在醫(yī)療AI領域，IBM沃森“醫(yī)生”一直被視作為成功實現(xiàn)商業(yè)化應用的行業(yè)標桿，對于其應用效果和監(jiān)管方式的觀察很大程度上左右著我們對于AI醫(yī)療行業(yè)走向的思考。
10月4日至5日，美國《波士頓環(huán)球報》旗下的醫(yī)療媒體STAT針對IBM沃森“醫(yī)生”連發(fā)兩篇調(diào)查報道，試圖說明IBM沃森“醫(yī)生”的“超級功能”中存在著技術缺陷，并梳理了IBM為AI醫(yī)療應用規(guī)避監(jiān)管所做的游說工作，指出了美國現(xiàn)有法律框架對于AI醫(yī)療監(jiān)管的疏忽之處。
不打開算法黑箱，AI醫(yī)療可靠嗎?
沃森“醫(yī)生”和其它臨床決策支持技術的核心功能是指導醫(yī)生診療疾病，這種指導所借助的技術雖然稱之為“人工智能”，本質(zhì)上是背靠大數(shù)據(jù)的一些效率更高的算法。
醫(yī)生受這些算法的“加持”為病人提供服務，無形之中模糊了傳統(tǒng)醫(yī)療監(jiān)管方式中對于“人”和“機器”的區(qū)分，這種模糊使得醫(yī)生的診療過程暗藏了一些風險：算法本身的決策過程可能沒有扎實的理論解釋。
一位接受健康點采訪的算法工程師表示，人工智能依靠的是一些更加高級的算法，例如醫(yī)療領域的這些算法很多是建立在仿生學的基礎上，比如卷積神經(jīng)網(wǎng)絡模型就是基于貓的視網(wǎng)膜神經(jīng)節(jié)細胞的反應敏感性分布實驗建立的數(shù)學模型。算法工程師雖然對這種模型的數(shù)學推導和證明了然于心，但卻無法解釋整個運算過程，并且算法模型中也存在一些超參數(shù)，這些超參數(shù)究竟會如何影響最終結論，到現(xiàn)在為止都無從知曉。
這更使得對外界而言，不少AI算法的整個過程猶如“技術黑箱”。
這種“技術黑箱”如果運用于醫(yī)學影像標注圈定可能影響不大，但是一旦涉及到主觀性更強的輔助診斷，問題便會暴露出來：醫(yī)療AI技術向醫(yī)生提供輔助咨詢建議，能夠一定程度左右醫(yī)生的決策。但是，即便像沃森“醫(yī)生”這樣落地到商業(yè)應用中的技術，給出的診療方案背后也僅僅只是醫(yī)療文獻，至于算法為什么抓取這些文獻，算法如何賦予不同診療方案不同的評價，對于外界而言往往不得而知，這使得醫(yī)生在與沃森“醫(yī)生”的合作中難以形成更深的互動。
STAT在上述調(diào)查報道中采訪了佛羅里達州Jupiter醫(yī)療中心腫瘤醫(yī)生Sujal Shah，表達了類似的觀點。雖然沃森“醫(yī)生”給一名73歲肺癌患者建議的化療方案與他自己的想法不謀而合，Sujal Shah醫(yī)生仍然表示，沃森“醫(yī)生”所提供的背景資料，包括醫(yī)學期刊上的文章，僅僅使他增加了使用這種方案的信心，沃森“醫(yī)生”本身其實并未讓他獲得任何新的啟發(fā)。
這背后的問題是很多時候，現(xiàn)階段的醫(yī)療AI僅僅是向醫(yī)生展示了結果，并未解釋結果產(chǎn)生背后的邏輯，這使得整個輔助診療過程更像是一個醫(yī)學版的搜索引擎，搜索所形成的關系很難使醫(yī)生用戶和系統(tǒng)形成深入的互動。
缺乏解釋成為AI醫(yī)療監(jiān)管的難點
AI算法邏輯解釋的缺乏不僅影響了醫(yī)生與AI輔助診斷技術之間的互動，還使得AI技術的監(jiān)管邊界變得難以把握。
據(jù)STAT報道，一些醫(yī)生和消費者團體認為，正是因為AI算法具備“技術黑箱”的特點，F(xiàn)DA等的監(jiān)管方需要對如沃森“醫(yī)生”這樣的AI醫(yī)療輔助診斷系統(tǒng)進行更加仔細的檢查和監(jiān)管。
據(jù)STAT報道，一些醫(yī)生和消費者團體認為，正是因為AI算法具備“技術黑箱”的特點，F(xiàn)DA等的監(jiān)管方需要對如沃森“醫(yī)生”這樣的AI醫(yī)療輔助診斷系統(tǒng)進行更加仔細的檢查和監(jiān)管。
國家醫(yī)師聯(lián)盟FDA特別小組聯(lián)席主席Reshma Ramachandran在接受STAT采訪時說道：“除非大家完全理解了AI技術的基礎和算法工作的具體方式，否則必須要有獨立的第三方對于這些應用進行嚴格審查，以保證這些應用不會產(chǎn)生過多負面影響。”
其實不止是國家醫(yī)師聯(lián)盟，美國還有很多其他的團體表示了類似的看法，而他們的矛頭主要指向了2016年11月通過的《21世紀治愈法案》(The 21st Century Cure Act)中針對于醫(yī)療軟件的豁免條款。
豁免條款核心作用在于免除了通過信息分析向醫(yī)護人員提供輔助診斷建議的健康軟件的監(jiān)管，但上述團體成員表示，豁免的前提是醫(yī)護人員能夠獨立評價這些建議的邏輯基礎，而醫(yī)療軟件能夠做到這一點必須具備相當?shù)耐该鞫取?/p>
《21世紀治愈法案》通過后不到兩個月，IBM宣布與佛羅里達州Jupiter醫(yī)療中心達成了首筆Watson for Oncology交易。IBM則表示選擇這樣的時間純屬偶然。
事實上IBM在法案通過方面花費了不少力氣進行政治游說。IBM披露的報表顯示，2013年至2017年6月期間，IBM花費了2640萬美元來游說國會，白宮和聯(lián)邦機構。 IBM在一份聲明中表示，其中用于游說醫(yī)療軟件方面的花費占“2013年至2017年的游說支出的不足百分之一”。
但是，IBM拒絕透露其花費的具體數(shù)字，或回答在此期間游說對象具體是誰。 IBM僅僅表示，“花費的錢主要用于支持一些病人和醫(yī)生團體組織，他們的核心工作是在法規(guī)層面推動低風險軟件和內(nèi)在高風險技術之間的區(qū)分。”
IBM一直在嘗試說明沃森“醫(yī)生”具備較低的風險，然而事實是其人工智能的算法透明度尚有待改善。IBM一直強調(diào)在AI醫(yī)療領域要增加算法透明度，其云計算業(yè)務高級副總裁David Kenny在今年6月向國會提交的公開信中也專門提到，要保證“IBM能夠知曉人工智能系統(tǒng)是如何得到最終結論，并且能夠清楚的解釋算法的決策過程，否則系統(tǒng)就不能夠在市場中銷售”。
在醫(yī)療的學術領域內(nèi)，解釋算法黑箱中的決策過程一直都是熱點問題。一些醫(yī)生們擔心，算法黑箱中僅有明確的數(shù)學公式推導，并沒有明確的理論解釋黑箱中的決策過程。因此，IBM所承諾的算法透明度能否實現(xiàn)，決定權也可能并不在IBM手上，這是AI技術現(xiàn)階段本身存在的缺陷。
這種缺陷也造成了AI醫(yī)療輔助診斷的監(jiān)管難點。據(jù)STAT報道，美國的監(jiān)管方、AI醫(yī)療的從業(yè)者在談及AI醫(yī)療的時候都是從結果出發(fā)的，與醫(yī)生決策的擬合度、篩查準確率——這非常符合算法的思維，以結果為導向。
這種思維用于簡單的類似于醫(yī)學影像標準等的工作并無太大問題，但一旦涉及更為復雜的醫(yī)療決策輔助，甚至醫(yī)療方案的整體評估建議，不考慮決策過程完全以結果為導向去輔助醫(yī)護人員，會使得醫(yī)護人員相當被動，甚至暴露在難以控制的決策風險中。
這些問題之所以會產(chǎn)生，可能還是得歸結于技本身的缺陷。因而也就不難理解，復雜的醫(yī)學決策輔助建構在這樣的技術上面，其商業(yè)模式存容易存在諸多問題。
正如國際醫(yī)療人工智能大會上，上海市決策委員會委員許速所說，AI的本質(zhì)是輔助人的腦力，延伸腦功能，增強人腦的負荷量，最適宜的是一些成熟技術，在涉及面比較廣的基礎領域更有優(yōu)勢。人工智能發(fā)揮巨大作用的地方是社區(qū)而非處理處理復雜問題的醫(yī)院。在決策過程未知的情況下貿(mào)然將AI技術引入復雜醫(yī)學領域，可能只會徒增問題。
來源：健康點