JAMA子刊：ChatGPT回答復(fù)雜臨床考題的能力超過斯坦福醫(yī)學(xué)生

（圖片來源：攝圖網(wǎng)）

作者|王聰 來源|生物世界(ID：ibioworld)

ChatGPT，是由人工智能研究實驗室 OpenAI 于2022年11月30日發(fā)布的全新聊天機器人模型——人工智能技術(shù)驅(qū)動的自然語言處理工具。ChatGPT能夠通過學(xué)習(xí)和理解人類的語言來進(jìn)行對話，還能根據(jù)聊天的上下文進(jìn)行互動，真正像人類一樣來聊天交流。自推出以來，ChatGPT強大的能力備受關(guān)注。

2023年7月17日，斯坦福大學(xué)醫(yī)學(xué)院的研究人員在JAMA 子刊 JAMA Internal Medicine 上發(fā)表了題為：Chatbot vs Medical Student Performance on Free-Response Clinical Reasoning Examinations 的論文。

這項最新研究顯示，在回答具有挑戰(zhàn)性的臨床考試問題時，ChatGPT可以比斯坦福大學(xué)醫(yī)學(xué)院一年級和二年級的醫(yī)學(xué)生表現(xiàn)得更好。這項研究結(jié)果強調(diào)了人工智能（AI）對醫(yī)學(xué)教育和臨床實踐的加速影響，并建議需要一種新的方法來培養(yǎng)未來的醫(yī)生。

ChatGPT是目前最著名的大語言模型人工智能系統(tǒng)，在過去的幾個月里吸引了全世界的目光。最近的研究表明，ChatGPT可以準(zhǔn)確回答美國執(zhí)業(yè)醫(yī)師資格考試（USMLE）中的多項選擇題，而醫(yī)生必須通過USMLE考試才能執(zhí)業(yè)。

在這項最新研究中，斯坦福大學(xué)的研究團(tuán)隊希望探索人工智能系統(tǒng)如何處理更難的開放式問題（而非選擇題），這些問題原本用于評估斯坦福大學(xué)醫(yī)學(xué)院一年級和二年級學(xué)生的臨床推理技能。這些問題在離散的段落中揭示了患者病例的細(xì)節(jié)，要求學(xué)生利用臨床推理技能提出可能的診斷。

這項新研究使用了Open AI公司于今年3月份發(fā)布的最新版本的ChatGPT，也就是GPT-4。這也是該團(tuán)隊在此前一項研究的基礎(chǔ)上進(jìn)行的，此前的研究使用的則是GPT-3.5。

在這兩項研究中，斯坦福大學(xué)的研究團(tuán)隊收集了14個臨床推理案例。這些案例的文字描述長度從幾百字到上千字不等，包含了許多無關(guān)的細(xì)節(jié)，比如不相關(guān)的慢性疾病和藥物，就像現(xiàn)實生活中的病人病歷一樣。

在考試中，考生在閱讀每個案例報告后，寫出相應(yīng)提問的答案。這種閱讀分析文本并撰寫答案的考試方式與執(zhí)業(yè)醫(yī)師資格考試（USMLE）中的選擇題的相對簡單形成形成鮮明對比。由于ChatGPT的學(xué)習(xí)訓(xùn)練來自整個互聯(lián)網(wǎng)，因此它可能無法準(zhǔn)確理解考題中醫(yī)療專業(yè)術(shù)語，例如“problem list”一詞，在醫(yī)療領(lǐng)域，它指的是病人過去和現(xiàn)在的醫(yī)療問題，但這個詞也會出現(xiàn)在其他非醫(yī)療語境中。

測試結(jié)果顯示，GPT-3.5剛剛達(dá)到及格水平，而GPT-4的得分比這些學(xué)生的平均得分高出4.2分，并且在93%的測試中超過了及格線，而學(xué)生中僅有85%及格。

當(dāng)然，ChatGPT的表現(xiàn)也并非完美無瑕。GPT-3.5在回答中會出現(xiàn)虛構(gòu)的內(nèi)容，GPT-4則顯著減少了這一問題。

研究團(tuán)隊認(rèn)為，這一結(jié)果提示我們，通過書面文本進(jìn)行醫(yī)學(xué)推理的教學(xué)和測試的本質(zhì)被新工具推翻了，ChatGPT等工具正在改變我們的教學(xué)方式，并有望最終改變醫(yī)學(xué)實踐。

實際上，在考試和課程設(shè)計方面，斯坦福大學(xué)醫(yī)學(xué)院已經(jīng)受到了ChatGPT的影響。在上個學(xué)期，斯坦福大學(xué)的管理人員意見決定將考試從開卷改為閉卷，以防止學(xué)生們利用ChatGPT作弊。

研究團(tuán)隊表示，不希望醫(yī)學(xué)生在學(xué)校里過于依賴人工智能，因為這樣可能會導(dǎo)致他們無法學(xué)會如何通過自己的分析進(jìn)行推理。但另一方面，隨著人工智能的普及，一個醫(yī)生沒有接受使用人工智能的培訓(xùn)可能更值得擔(dān)憂。

最后，論文第一作者Eric Strong 表示，或許還需要幾十年時間人工智能才能全面取代醫(yī)生，但再過幾年，我們可能就會看到人工智能在日常醫(yī)療中的應(yīng)用。

論文鏈接：

https://jamanetwork.com/journals/jamainternalmedicine/article-abstract/2806980

編者按：本文轉(zhuǎn)載自微信公眾號：生物世界(ID：ibioworld)，作者：王聰