ChatGPT通过美国医师考核！能代替医生看病吗？我们做了个有趣测试

ChatGPT通过美国医师考核！能代替医生看病吗？我们做了个有趣测试

文/张洪涛美国药理学博士

02/14/2023

核心提要：

1. 据报道，ChatGPT近期挑战了极其艰难的美国执业医生资格考试（USMLE），在没有人类协助下各部分均取得了及格或接近及格的成绩，这反映出人工智能在临床方面达到成熟地步。研究结果显示，大型语言工具有潜力辅助医学教育甚至临床判断。

2. 为了解ChatGPT在看病时的准确性，凤凰网《肿瘤情报局》测试了6个肿瘤问题。对于常识性的问题，例如癌症患者的误区、饮食禁忌、感染新冠病毒后怎么办等，ChatGPT的回答中规中矩，但没有压力。对于例如HER2阳性乳腺癌的治疗方案等涉及患者具体病情的提问，ChatGPT的回答就比较混乱。专业问题还得靠专业医生，ChatGPT革的是一般科普文章的命，无法取代医生的角色。

3. 从USMLE成绩来看，ChatGPT也仅是勉强及格。ChatGPT基于真实世界的数据进行深度学习，如果数据不够或错误数据太多，那么它就不靠谱。目前在世的人几乎不可能等到人工智能（AI）主导的疾病诊治时代的来临，仍需医生把关负责。

4. 和ChatGPT使用的AI自然语言一样，医学数据的分析也可用自然语言整理患者病历，从而更好在真实数据中找到规律。技术的发展能大大提高医生诊断的速度和准确性，AI并不是要取代医生，而是要解放医生。ChatGPT能给患者进行简单科普，医生则可以集中精力解决最重要的问题。

01

能看病、写论文，还考上了美国执业医生，

ChatGPT能代替医生给患者看病吗？

ChatGPT竟然能通过美国执业医师的资格考试！

日前，ChatGPT挑战了被视为极其艰难的美国执业医生资格考试（USMLE）。该考试分为3部分，结果ChatGPT在这3部分考试中的分数都达到及格或接近及格，而且是在没有任何人类协助下达成的。这反映出人工智能在临床方面达到的成熟地步。

有关研究在2月10日出版的《科学公共图书馆·数字健康（PLOS Digital Health）》期刊上发表。在未经过专门训练或加强学习的情况下，ChatGPT对350道考试题进行了回答，经评审人员阅卷打分，ChatGPT回答的准确性有60%，基本可以通过考试[1]。用来测试ChatGPT的考题，既有根据信息给患者做出诊断的开放式问题，也有诸如判断病因之类的选择题，但是排除了基于图像的考试题。

▎图/2023年2月发表在PLOS Digit Health上的论文《ChatGPT在USMLE的表现：使用大型语言模型的AI辅助医学教育的潜力》评估了 ChatGPT 在美国执业医生资格考试中的表现，并发现ChatGPT在其解释中表现出高度的一致性和洞察力。研究最后认为，大型语言模型可能具有协助医学教育以及潜在临床决策的潜力。

虽然现实中，通过执业资格考试的医科生还要经过实习、培训、临床考试等过程才能获得行医资格，但研究结果显示出，大型语言工具有潜力辅助医学教育甚至临床判断。

对此，有人认为ChatGPT将对国外医疗领域开始产生巨大冲击！甚至有“硅谷投资人”认为，这个冲击将降低病患的医疗成本，但是普通医院的营收在ChatGPT成熟之后会遭遇断崖式下降，导致医疗领域岗位流失，数以百万计的优秀医生将需要学习新的技能再就业。

这个革命性的ChatGPT，真的能革掉医生的命？！

▎图/ChatGPT是一个由OpenAI调教的人工智能应用，它的名字来源于它的两个主要功能：聊天和GPT，即Generative Pretrained Transformer（“生成式预训练转换器”）。根据ChatGPT自己的解释，ChatGPT是一种自然语言处理技术，先通过深度学习来理解人类的语言，再通过生成语言来实现人机对话。为了深度学习，ChatGPT需要使用大量的语言数据进行训练，以便对各种语言问题作出回答。因为应用广泛，中小学生开始用它来写作业，大学生、研究生用它来写论文，甚至程序员也开始用它来写代码。

02

ChatGPT在看病时的准确性如何？

为了解ChatGPT治疗癌症的能力，我们测试了6个问题

问题1: 癌症患者最大的误区是什么？请用专业的方式回答，并给出实例。

ChatGPT回答： 癌症患者有很多误区，但其中最大的一个误区是过分依赖偏方。许多癌症患者认为仅通过使用传统的中药、信仰或其他偏方方法就可以治愈癌症，这种想法是错误的。

例如，有些癌症患者拒绝接受标准的放疗或化疗，而只选择传统的中药方法，这可能导致疾病进展和生存期的严重下降。

因此，在确诊癌症后，建议患者咨询专业的医生，并在医生的指导下选择合适的治疗方案。一种合适的治疗方案可能包括手术、放疗、化疗等标准方法，以及适当的中药疗法。

点评： ChatGPT的这个回答，至少可以打90分。它不但指出了一个癌症患者确实会陷入的重大误区，最为关键的是，它提到了“建议患者咨询专业的医生”。

▎图/AI已应用在麻醉与CT影像读片等领域。

问题2: 癌症患者不能吃什么？

ChatGPT回答： 对于癌症患者，不同的治疗方法可能导致不同的营养需求和饮食限制。在具体的情况下，建议癌症患者向专业的医生咨询，以确保选择合适的饮食方式。

一般来说，癌症患者可能需要避免以下食物：

1. 腌制食品：例如熏肉、火腿等，因为这些食物可能含有致癌物质。

2. 高脂肪食品：例如油炸食品、高脂肪肉类等，因为这些食物可能增加癌症的风险。

3. 高糖食品：例如糖果、蛋糕等，因为这些食物可能增加癌症的风险。

4. 高盐食品：例如腌制食品、酱油等，因为这些食物可能增加癌症的风险。

但是，这些食物并不适用于所有癌症患者，因此应该根据个人情况和医生的建议进行调整。

点评： ChatGPT的这个回答，也可以至少打90分。 ChatGPT提到的这些食物，如果长期、过量食用，可能会带来健康风险，有些食物甚至已经被世界卫生组织定义为“可能致癌的因素”，癌症患者自然应该特别注意。同时，ChatGPT的回答也中规中矩，不但没有搞一些奇怪的噱头来恐吓大众、吸引眼球，也提到“应该根据个人情况和医生的建议进行调整”。

问题3: 癌症患者感染新冠怎么办？

ChatGPT回答： 如果癌症患者感染了新冠病毒，应立即寻求医疗帮助。对于癌症患者，新冠病毒感染可能带来更多的健康风险，因此需要特别关注。

以下是一些建议：

1. 立即就医：癌症患者感染新冠病毒后应立即就医，以确保及时诊断和治疗。

2. 通信：与医生保持密切的联系，并告诉医生关于癌症治疗的情况，以确保可以得到最佳的医疗帮助。

3. 注意营养：保持良好的营养状态可以帮助提高免疫力，减少感染的风险。

4. 遵循医生的建议：遵循医生的建议，如停药、减少外出等，以确保安全。

5. 注意卫生：注意个人卫生，例如勤洗手、避免接触疫情人群等。

癌症患者感染新冠病毒后的治疗方案可能因个体情况而异，建议在医生的指导下接受治疗。

点评： ChatGPT的回答也中规中矩，虽然有的建议比较含糊，如“停药”，但是因为提到“遵循医生的建议”，也就无可非议了。

问题4: 癌症患者可以吃巧克力吗？

ChatGPT回答：是的，癌症患者可以吃巧克力，但是需要适量。巧克力是一种富含营养的食物，对于许多人来说是一种美味的零食。然而，巧克力也是高糖和高脂肪的食物，如果摄入过多，可能对健康产生不良影响。

因此，癌症患者在食用巧克力时应注意以下几点：

1. 适量食用：巧克力可以作为一种美味的零食，但是应该适量食用。

2. 选择高品质的巧克力：选择含有高品质可可的巧克力，以获得更多的营养。

3. 避免过多的糖和脂肪：避免食用含有过多糖和脂肪的巧克力，以保护健康。

4. 考虑个人情况：在食用巧克力前，应该考虑个人情况，例如体重、饮食习惯等，以确保适当的摄入。

综上所述，癌症患者可以吃巧克力，但是需要适量，并选择高品质的巧克力。同时，在食用巧克力前应该考虑个人情况，以确保健康。

点评： ChatGPT没有过分夸大巧克力的危害，也提醒了适量。回答这个问题，ChatGPT不需要“医生的建议”来加持。笔者提问了“癌症患者可以吃糖吗”，ChatGPT的答案基本相似，这里不再累述。

问题5: 癌症患者不能吃什么水果？

ChatGPT回答： 一般来说，癌症患者不存在不能吃什么水果的限制。相反，多吃水果可以帮助癌症患者保持健康，提供营养。

不过，一些癌症患者可能因为特殊情况（例如食道癌）而不能食用某些水果，此时应该在医生的指导下进行饮食。

除此之外，癌症患者也可以考虑消化不良的情况，例如选择易消化的水果，避免对胃肠道造成过多负担。

综上所述，癌症患者可以多吃水果，以保持健康，但在特殊情况下应该在医生的指导下进行饮食。

点评： 从这些问答可以看出，对于常识性的问题，ChatGPT毫无压力。

那如果针对患者的具体病情提问，ChatGPT还能够提供满意的回答吗？

问题6: 我有一个朋友被查出来是HER2阳性乳腺癌，有什么治疗方案可以推荐给她吗？

ChatGPT回答： HER2阳性乳腺癌是一种特殊类型的乳腺癌，其特征在于HER2基因的异常表达。为了治疗这种癌症，医生通常会采用多种方法，以确保最佳的治疗效果。

以下是一些可能的治疗方案：

1. 药物治疗：HER2阳性乳腺癌通常对药物治疗非常敏感，医生可能会推荐使用HER2抑制剂，如Trastuzumab（Herceptin），以降低癌细胞的生长。

2. 化疗：在外科手术和/或放疗后，化疗可以帮助消除剩余的癌细胞，以减少复发的风险。

3. 辅助治疗：为了提高疗效，医生可能还会推荐其他辅助治疗，例如放疗，以减少癌症的生长。

4. 个体化治疗：每个患者的情况都不同，因此医生可能会采用个体化的治疗方案，以确保最佳的结果。

这仅仅是一些治疗方案的例子，最终的治疗方案将根据患者的情况（包括疾病的严重程度，年龄等）进行评估和决策。因此，最好的方法是向医生咨询，以确定最佳的治疗方案。

点评： HER2阳性，可以是基因的扩增，也可以是蛋白的过表达，ChatGPT的解释虽然比较简单，不过也可以接受。但是，谈及治疗方案时，ChatGPT的回答就比较混乱了，并没有根据患者的病理期来提供治疗建议。实际上，如果是早期的乳腺癌患者，能手术的应该首先进行手术（包括术前可能采取的新辅助化疗），而并不是简简单单进行化疗。而且作为术后的辅助治疗，对于HER2阳性的患者来说，应该采用的是联合了化疗的HER2靶向治疗。

虽然回答不令人满意，但是因为ChatGPT提到“最好的方法是向医生咨询，以确定最佳的治疗方案”，回答也可以打一个及格分。

ChatGPT帮你找回常识，可以革掉一般科普的命，但专业医生还是不可少

从测试可以看出来，虽然对于一般的问题，ChatGPT可以回答得滴水不漏，但是对于比较专业的问题，还是得靠医生来提供准确的回答。

所以，如果说ChatGPT能革命，革的也是一般科普文章的命，无法取代医生的角色。

其实从通过美国执业医师资格考试的成绩来看，ChatGPT也仅是勉强及格，而且即便美国的医学生通过了资格考试，还是需要进行住院实习，积累实际诊疗经验。一般的患者，对实习医生都不太放心，怎么可能放心让ChatGPT来开方子呢？

再说，如果没有医生把关，ChatGPT给的建议出了问题，找谁来负责呢？

▎图/ChatGPT对前列腺癌的看法

所以，只能是把ChatGPT当作一个可用的工具，帮助获得一些必要的辅助信息。由于患者与医生交流的时间特别有限，如果患者或家人能够提前做好功课，可以更有效地与医生沟通。在目前信息泛滥的状态下，面对互联网上的各种说法，普通人可能会被迷惑，无所适从，相比之下，ChatGPT能够做比较好的导航，得到一个相对比较合理的说法。在此基础上，再通过与专业医生的高效沟通，普通人能够得到最大的利益。

既然是一个工具，就需要知道在什么时候、什么场景下使用才是最佳的。ChatGPT是基于真实世界的数据进行深度学习，如果数据不够、或者说错误的数据太多，那么ChatGPT说出来的就不靠谱。从目前大家的测试来看，ChatGPT对古诗词的深度学习不够，对于人类的情感也还没有找到一个较好的方法，所以想跟ChatGPT聊一聊表达人类情感的古诗词，基本是鸡同鸭讲。

AI在病理诊断、药物研发方面都有很大的运用前景，对医学的帮助到底有多大？

ChatGPT使用的人工智能（AI）是自然语言处理，所以适用于聊天。在医学数据的分析中，也需要使用到自然语言处理，可以对患者的病历进行整理，从而更好地从真实世界的数据中找到规律。

医学数据还有很大一部分是影像学数据，医生依据于这类数据的诊断，多少会有一些主观意识，也就是容易发生误判。 在这个方面，人工智能有较大的优势，不但对图像的识别更敏感，而且可以通过深度学习，发现人眼不能观察到的相关性。

比如说，对于鼻咽癌，目前通常是根据病理期来判断患者的疾病进展风险。广州中山大学医院的一项研究表明，通过大数据对核磁共振图像 (MRI)数据的深度学习所建立的模型，能够更好地预测鼻咽癌患者疾病进展的风险。当然，如果将二者结合，准确性提高得更多[2]。2020年，一项英国的研究结果表明，在对AI算法改进之后，使用AI进行疾病诊断的能力得到了大幅提高，准确性优于大多数参加研究的医生（75%）[3]。

在药物研发方面，AI也发挥着越来越多的作用。 比如AlphaFold根据一个蛋白的序列，就可以比较准确地预测其三维结构。AlphaFold能做到这一步，也是基于对目前蛋白结构的深度学习。在小分子药物研发方面，AI深度学习能加快药物的筛选速度，AI算法也能对先导化合物的成药性和可开发性进行评估，选择更优、更容易成功的项目推进。

由于机器一直在深度学习，AI技术一直在进步，因此很多人认为，假以时日，AI一定会取代医生，成为疾病诊断、治疗的主角。但这属于过于乐观的期望！即便有AI主导的疾病诊断、治疗时代，目前在世的人几乎都不可能等到这个时代的来临。

不过，因为AI技术的进步，医生做出诊断的速度和准确性可以大大提高。301医院基于AI深度学习，开发了一个胃部病理辅助诊断系统，灵敏度接近100%，特异性达到80.6%。2022年的研究结果表明，在使用这个人工智能辅助系统之后，病理医生诊断胃癌的灵敏度显著提高，成功率从82.75%提高到了90.63%，同时查看病理切片的时间也显著下降，花在每张片子上的时间，从26.37秒下降到22.68秒[4]。目前的癌症治疗进入了靶向治疗、免疫治疗时代，对病理切片进行免疫组化染色检查的要求也增加了，病理医生的任务越来越繁重。