JAMA子刊：ChatGPT回答復雜臨床考題的能力超過斯坦福醫(yī)學生

（圖片來源：攝圖網(wǎng)）

作者|王聰 來源|生物世界(ID：ibioworld)

ChatGPT，是由人工智能研究實驗室 OpenAI 于2022年11月30日發(fā)布的全新聊天機器人模型——人工智能技術驅動的自然語言處理工具。ChatGPT能夠通過學習和理解人類的語言來進行對話，還能根據(jù)聊天的上下文進行互動，真正像人類一樣來聊天交流。自推出以來，ChatGPT強大的能力備受關注。

2023年7月17日，斯坦福大學醫(yī)學院的研究人員在JAMA 子刊 JAMA Internal Medicine 上發(fā)表了題為：Chatbot vs Medical Student Performance on Free-Response Clinical Reasoning Examinations 的論文。

這項最新研究顯示，在回答具有挑戰(zhàn)性的臨床考試問題時，ChatGPT可以比斯坦福大學醫(yī)學院一年級和二年級的醫(yī)學生表現(xiàn)得更好。這項研究結果強調了人工智能（AI）對醫(yī)學教育和臨床實踐的加速影響，并建議需要一種新的方法來培養(yǎng)未來的醫(yī)生。

ChatGPT是目前最著名的大語言模型人工智能系統(tǒng)，在過去的幾個月里吸引了全世界的目光。最近的研究表明，ChatGPT可以準確回答美國執(zhí)業(yè)醫(yī)師資格考試（USMLE）中的多項選擇題，而醫(yī)生必須通過USMLE考試才能執(zhí)業(yè)。

在這項最新研究中，斯坦福大學的研究團隊希望探索人工智能系統(tǒng)如何處理更難的開放式問題（而非選擇題），這些問題原本用于評估斯坦福大學醫(yī)學院一年級和二年級學生的臨床推理技能。這些問題在離散的段落中揭示了患者病例的細節(jié)，要求學生利用臨床推理技能提出可能的診斷。

這項新研究使用了Open AI公司于今年3月份發(fā)布的最新版本的ChatGPT，也就是GPT-4。這也是該團隊在此前一項研究的基礎上進行的，此前的研究使用的則是GPT-3.5。

在這兩項研究中，斯坦福大學的研究團隊收集了14個臨床推理案例。這些案例的文字描述長度從幾百字到上千字不等，包含了許多無關的細節(jié)，比如不相關的慢性疾病和藥物，就像現(xiàn)實生活中的病人病歷一樣。

在考試中，考生在閱讀每個案例報告后，寫出相應提問的答案。這種閱讀分析文本并撰寫答案的考試方式與執(zhí)業(yè)醫(yī)師資格考試（USMLE）中的選擇題的相對簡單形成形成鮮明對比。由于ChatGPT的學習訓練來自整個互聯(lián)網(wǎng)，因此它可能無法準確理解考題中醫(yī)療專業(yè)術語，例如“problem list”一詞，在醫(yī)療領域，它指的是病人過去和現(xiàn)在的醫(yī)療問題，但這個詞也會出現(xiàn)在其他非醫(yī)療語境中。

測試結果顯示，GPT-3.5剛剛達到及格水平，而GPT-4的得分比這些學生的平均得分高出4.2分，并且在93%的測試中超過了及格線，而學生中僅有85%及格。

當然，ChatGPT的表現(xiàn)也并非完美無瑕。GPT-3.5在回答中會出現(xiàn)虛構的內(nèi)容，GPT-4則顯著減少了這一問題。

研究團隊認為，這一結果提示我們，通過書面文本進行醫(yī)學推理的教學和測試的本質被新工具推翻了，ChatGPT等工具正在改變我們的教學方式，并有望最終改變醫(yī)學實踐。

實際上，在考試和課程設計方面，斯坦福大學醫(yī)學院已經(jīng)受到了ChatGPT的影響。在上個學期，斯坦福大學的管理人員意見決定將考試從開卷改為閉卷，以防止學生們利用ChatGPT作弊。

研究團隊表示，不希望醫(yī)學生在學校里過于依賴人工智能，因為這樣可能會導致他們無法學會如何通過自己的分析進行推理。但另一方面，隨著人工智能的普及，一個醫(yī)生沒有接受使用人工智能的培訓可能更值得擔憂。

最后，論文第一作者Eric Strong 表示，或許還需要幾十年時間人工智能才能全面取代醫(yī)生，但再過幾年，我們可能就會看到人工智能在日常醫(yī)療中的應用。

論文鏈接：

https://jamanetwork.com/journals/jamainternalmedicine/article-abstract/2806980

編者按：本文轉載自微信公眾號：生物世界(ID：ibioworld)，作者：王聰