ChatGPT通过美国医师考核!能代替医生看病吗?我们做了个有趣测试

ChatGPT通过美国医师考核!能代替医生看病吗?我们做了个有趣测试  文/张洪涛 美国药理学博士 02/14/2023 核心提要: 1. 据报道,ChatGPT近期挑战了极其艰难的美国执业医生资格考试(USMLE),在没有人类协助下各部分均取得了及格或接近及格的成绩,这反映出人工智能在临床方面达到成熟地步。研究结果显示,大型语言工具有潜力辅助医学教育甚至临床判断。 2. 为了解ChatGPT在看病时的准确性,凤凰网《肿瘤情报局》测试了6个肿瘤问题。对于常识性的问题,例如癌症患者的误区、饮食禁忌、感染新冠病毒后怎么办等,ChatGPT的回答中规中矩,但没有压力。对于例如HER2阳性乳腺癌的治疗方案等涉及患者具体病情的提问,ChatGPT的回答就比较混乱。专业问题还得靠专业医生,ChatGPT革的是一般科普文章的命,无法取代医生的角色。 3. 从USMLE成绩来看,ChatGPT也仅是勉强及格。ChatGPT基于真实世界的数据进行深度学习,如果数据不够或错误数据太多,那么它就不靠谱。目前在世的人几乎不可能等到人工智能(AI)主导的疾病诊治时代的来临,仍需医生把关负责。 4. 和ChatGPT使用的AI自然语言一样,医学数据的分析也可用自然语言整理患者病历,从而更好在真实数据中找到规律。技术的发展能大大提高医生诊断的速度和准确性,AI并不是要取代医生,而是要解放医生。ChatGPT能给患者进行简单科普,医生则可以集中精力解决最重要的问题。 01 能看病、写论文,还考上了美国执业医生, ChatGPT能代替医生给患者看病吗? ChatGPT竟然能通过美国执业医师的资格考试! 日前,ChatGPT挑战了被视为极其艰难的美国执业医生资格考试(USMLE)。该考试分为3部分,结果ChatGPT在这3部分考试中的分数都达到及格或接近及格,而且是在没有任何人类协助下达成的。这反映出人工智能在临床方面达到的成熟地步。 有关研究在2月10日出版的《科学公共图书馆·数字健康(PLOS Digital Health)》期刊上发表。在未经过专门训练或加强学习的情况下,ChatGPT对350道考试题进行了回答,经评审人员阅卷打分,ChatGPT回答的准确性有60%,基本可以通过考试[1]。用来测试ChatGPT的考题,既有根据信息给患者做出诊断的开放式问题,也有诸如判断病因之类的选择题,但是排除了基于图像的考试题。 ▎图/2023年2月发表在PLOS Digit Health上的论文《ChatGPT在USMLE的表现:使用大型语言模型的AI辅助医学教育的潜力》评估了 ChatGPT …