人工智能大模型在医疗领域的应用现状与前景展望

微信扫码，打开到小程序

bmr.202312.00027V2 http://www.biomedrxiv.org.cn/article/doi/bmr.202312.00027 此预印本（未经同行评审）的作者拥有该文稿的版权，biomedRxiv拥有永久保存权。任何人未经允许不得重复使用。 〔作者简介〕 郑琰莉，学士，发表论文 2 篇; 通信作者: 苏文星，硕士，发表论文 4 篇。 人工智能大模型在医疗领域的应用现状与前景展望 郑琰莉 （天津泰达普华医院 天津 300203） 李舒玉 （先进操作系统创新中心 (天津) 有限公司 天津 300450） 苏文星 （1 中国科学院大学 应急管理科学与工程学院 北京 100049， 2 先进操作系统创新中心 (天津) 有限公司 天津 300450） [摘要] 目的/意义 梳理分析人工智能大模型在医疗领域的研究现状，旨在为人工智能大模型在 该领域的研究提供新思路。方法/过程 在相关文献分析基础上，梳理人工智能大模型在智慧医疗、 医疗元宇宙、医学研究等领域的应用场景及具体实例。结果/结论 虽然人工智能大模型目前面临 一定风险与挑战，但其在医疗领域仍具有广阔的发展空间。 [关键词] 人工智能大模型；智慧医疗；医疗元宇宙；医学研发 Application Status and Prospect of Artificial Intelligence Large Models in Medicine ZHENG Yanli，Tianjin TEDA Puhua International Hosipital, Tianjin 300203，China; LI Shuyu，Advanced Operating System Innovation Center ( Tianjin) Co.，Ltd，Tianjin 300450，China; SU Wenxing，1School of Emergency Management Science and Engineering，University of Chinese Academy of Sciences, Beijing 100049，China, 2Advanced Operating System Innovation Center ( Tianjin) Co.，Ltd，Tianjin 300450，China; [Abstract] Purpose/Significance To analyze and outline the current research status of artificial intelligence large models in medicine, aiming at providing new perspectives for research in this domain. Method/Process Based on a review of relevant literatures, the paper outlines the application scenarios and examples of artificial intelligence large models in the fields of smart medical care, medical metaverse, and medical research and development. Result/Conclusion While the artificial intelligence large models currently face certain risks and challenges, there is still large space for development in medicine. [Keywords] artificial intelligence large models; smart medical care; medical metaverse; medical research and development 1 引言 根据《“十四五”规划和 2035 年远景目标纲要》，医疗领域数字化建设和智慧医 疗建设成为“十四五”时期的重要任务。人工智能作为实现该任务的重要技术基础， bmr.202312.00027V2 http://www.biomedrxiv.org.cn/article/doi/bmr.202312.00027 此预印本（未经同行评审）的作者拥有该文稿的版权，biomedRxiv拥有永久保存权。任何人未经允许不得重复使用。 〔作者简介〕 郑琰莉，学士，发表论文 2 篇; 通信作者: 苏文星，硕士，发表论文 4 篇。 正在积极地推动智慧医疗的发展。如今 DALL-E、GPT-4、LLaMA 等人工智能大模型 （下称“大模型”）的出现，也给该领域带来了前所未有的技术突破[1]。大模型又被称 为预训练模型、基础模型（Foundation models），它可以集中各种模态的数据信息，然 后基于海量数据、超大规模参数进行预训练（Pre-training）并通过微调（Fine-tuning） 以适配不同领域任务需要[2]。在医疗领域，医疗数据本身就具有多模态的特性，大模型 将进一步推进智慧医疗、医疗元宇宙和医疗研究的发展进程。比如电子病历理解、医 疗问答、医学教育培训、医学影像生成、疾病辅助诊断、药物研发以及虚拟医院和医 疗虚拟数字人交互等诸多应用[3]，涵盖医疗领域就诊前、就诊中、就诊后各环节。本文 梳理了当前大模型在医疗领域的应用现状，分析其面临的风险与挑战并进行展望，旨 在为大模型在该领域的研究提供新思路。 2 人工智能大模型发展概述 2.1 人工智能大模型发展与分类 随着人工智能技术的进步和深度学习算法的发展，以及海量多模态数据的爆炸式 增长，芯片、网络、算力等基础建设的持续增强，大模型也迎来了快速发展机遇。2014 年生成对抗网络 GAN（Generative Adversarial Network）[4]的出现，推动了生成式人工 智能的革命性发展，随后以 Transformer[5]、BERT[6]为代表的预训练模型的诞生，颠覆 了以往的深度学习模型网络结构，大幅提高了模型训练速度和对多模态感知、创作和 推理的能力，同时模型的参数量级也从百万级跃升到了百亿级，甚至出现了千亿级大 模型。截止 2023 年 6 月，国内外有超过百种大模型相继发布，国外如 Stable Diffusion、 GPT-4、Med-PaLM 等大模型，国内如文心系列大模型、华为盘古大模型、星火认知大 模型、MOSS 大模型等。从研究方向上来看，大模型研究主要集中在自然语言处理 （Natural Language Processing，NLP）、计算机视觉（Computer Vision，CV）、多模 态三大领域。从内容形式上来看，如 DALLE-2 模型可以将文本转为图像；Dreamfusion 模型可以将文本转为 3D 图像；Flamingo 模型可以将图像转为文本；Phenaki 模型可以 将文本转成视频；AudioLM 模型可以将文本转为音频；Codex 模型可以实现文本转编 码等。从工程角度看，MaaS（Model as a Service，模型即服务）正在成为该领域的新 模式，助力大模型从数据预处理、模型构建、模型训练、模型评估到模型服务全流程 构建。 2.2 人工智能大模型构建流程 bmr.202312.00027V2 http://www.biomedrxiv.org.cn/article/doi/bmr.202312.00027 此预印本（未经同行评审）的作者拥有该文稿的版权，biomedRxiv拥有永久保存权。任何人未经允许不得重复使用。 〔作者简介〕 郑琰莉，学士，发表论文 2 篇; 通信作者: 苏文星，硕士，发表论文 4 篇。 大模型构建流程分为：预训练、微调、奖励模型、强化学习四个阶段。预训练即 利用海量的训练数据和无监督学习的方法学习到通用的特征或知识，并将这些特征或 知识迁移到其他任务上，用于增强模型的泛化能力和表现。微调是指在已有的预训练 语言模型基础上，然后在新的数据集上进行少量的训练，使得模型能够更好地适应新 的任务或领域。提示调优（Prompt-tuning）、指令调优（Instruction-tuning）[7]和前缀调 优（Prefix-tuning）是现在大模型微调方法中较为常用的方法，其中 Prompt-tuning 是通 过提示来引导模型生成相关内容，Instruction-tuning 通过指令来训练模型执行特定任务， 而 Prefix-tuning 则是通过在输入中添加前缀来控制生成结果的格式和结构。奖励模型 （Reward Model）用于对生成的内容进行打分排序，让模型生成的结果更加符合人们 理想的答案。强化学习（Reinforcement Learning）阶段根据用户给出的提示词结合奖励 模型，将对结果与语言模型建模目标进行综合，进而得到更好的输出效果。表 1 展示 了部分主流大模型的构建情况。 表 1 部分主流大模型的构建情况 模型名称 发布时间 模型参数量 基础模型 模型类型 预训练数据量 T5[8] 2019 年 10 月 110 亿 Transformer 语言模型 1 万亿 Token GPT-3[9] 2020 年 6 月 1750 亿 Transformer 语言模型 3000 亿 Token PanGu-α[10] 2021 年 4 月 2000 亿 Transformer 语言模型 1.1 万亿 Token CodeGen[11] 2022 年 3 月 161 亿 Transformer 语言模型 5770 亿 Token LLaMA[12] 2023 年 2 月 652 亿 Transformer 语言模型 1.4 万亿 Token MOSS 2023 年 2 月 160 亿 CodeGen 指令微调模型 7 千亿 GPT-4 2023 年 3 月 18000 亿 Transformer 语言模型 13 万亿 PanGu-Σ 2023 年 3 月 10850 亿 PanGu-α 语言模型 3290 亿 Token 文心一言 2023 年 4 月 2600 亿 Transformer 指令微调模型 - 通义千问 2023 年 5 月 1850 亿 GPT-3 指令微调模型 45 万亿 星火认知 2023 年 5 月 - - 指令微调模型 - LLaMA2 2023 年 7 月 700 亿 Transformer 语言模型和指令 微调模型 2.0 万亿 Token 3 人工智能大模型在医疗领域的应用 3.1 人工智能大模型在医疗领域应用现状 bmr.202312.00027V2 http://www.biomedrxiv.org.cn/article/doi/bmr.202312.00027 此预印本（未经同行评审）的作者拥有该文稿的版权，biomedRxiv拥有永久保存权。任何人未经允许不得重复使用。 〔作者简介〕 郑琰莉，学士，发表论文 2 篇; 通信作者: 苏文星，硕士，发表论文 4 篇。 随着医疗领域信息化的飞速发展，海量多模态医疗数据不断积累，如何对其进行 有效利用和深度挖掘，是现代化智慧医疗的迫切要求。现代化智慧医疗融合了大数据、 人工智能、元宇宙等前沿技术，旨在优化医疗服务流程，提高医疗质量和效率，促进 智能医学的进一步发展[13]。而医疗大模型的出现将进一步加快其发展进程，目前医疗 大模型覆盖医学知识问答、生物及药物研发到智慧诊疗的各阶段、医保知识管理等领 域。根据面向对象的不同可分为患者、医护、高校、医疗机构及企业角色等；根据临 床场景数据交互类型的不同，又可分为文本任务、视觉任务、语音任务、跨模态任务 等。具体来讲，如就诊前的挂号问诊、健康宣教、知识问答等，就诊中的辅助诊断、 电子病例生成与理解、手术模拟等，就诊后的健康管理、医药服务、慢病管理等，医 学研究领域的文献挖掘、药物研发等，医疗元宇宙中的场景构建、内容生成等。表 2 展示了部分医疗大模型的应用情况。 表 2 部分医疗大模型应用情况 大模型名称 发布时间 企业名称 应用场景 数据类型 盘古药物分子大模型 2022.4 华为 药物研发 文本、图形、化学 结构 文心生物计算大模型 2022.5 百度 生物研究 分子结构 BioMedLM 2022.12 斯坦福基础模型研究中心 医疗问答 文本 GatorTron 2023.3 佛罗里达大学 医学问答、病例 识别 文本 Deepwise MetAI 2023.4 深睿医疗 医学影像 图像 通义千问 2023.4 阿里巴巴 医疗问答、医疗 知识图谱、报告 生成、辅助诊断 文本 天河医疗大模型 2023.5 国家超算天津中心 医学诊断 文本 OpenMEDLab 浦医 2023.6 上海人工智能实验室 医学图像、医学 文本、生物信 息、蛋白质工程 多模态 ProactiveHealthGPT 2023.6 华工数字孪生人实验室 健康对话、心理 咨询 文本 灵医 Bot 2023.6 百度灵医智惠 文档理解、病历 多模态 bmr.202312.00027V2 http://www.biomedrxiv.org.cn/article/doi/bmr.202312.00027 此预印本（未经同行评审）的作者拥有该文稿的版权，biomedRxiv拥有永久保存权。任何人未经允许不得重复使用。 〔作者简介〕 郑琰莉，学士，发表论文 2 篇; 通信作者: 苏文星，硕士，发表论文 4 篇。 理解、医疗问答 HealthGPT 2023.6 叮当健康 药物咨询、营养 指导、健康建议 文本 华佗 GPT 2023.6 深圳市大数据研究院 健康咨询、就医 导诊、情感陪伴 多模态 紫东太初 2023.6 中国科学院自动化研究所 手术辅助、辅助 诊疗 多模态 京医千询 2023.7 京东健康 辅助诊疗、健康 管理、文献挖 掘、病例报告生 成 多模态 星火认知大模型 2023.7 科大讯飞 诊后管理 文本 Med-PaLM 2023.7 Google 医学问答 文本 知问 2023.9 金仕达卫宁 医保和商保知 识问答 文本 但由于医疗领域的特殊性，医疗数据的获取和模型的训练制约着大模型的发展[14]。 医疗元宇宙是元宇宙在医疗领域的重要创新，有助于促进虚拟医疗和现实医疗的协同 发展，打破现实世界对时空、资源的限制，但医疗元宇宙的构建需要大量的虚拟场景， 复杂的智能预测与推理分析，虚拟数字人的建模以及语言与情感表达能力等[15]。另外， 对于生物和医药研究活动，需要大量的研究数据和模拟实验，极其耗时费力。由于大 模型参数规模巨大，其开发和训练依赖于数据、网络和算力的综合支撑。大模型可依 托互联网、专业数据库以及私有数据库的多模态数据进行自监督预训练，通过少量下 游任务提示或上下文提示对通用大模型进行微调，并利用迁移学习的思想，提高零样 本与小样本学习能力，从而快速构建出不同的专用大模型以满足上述场景的需求[3]。此 外，大模型的优化还涉及软、硬件的协同配合，分布式并行策略处理数据、压缩模型 网络等以提升运行效率。 3.2 人工智能大模型在医疗领域应用的构想 医疗领域大模型依托 CV、NLP、单/多模态技术等使其具有强大的创作能力、交互 能力、孪生能力、推理决策能力，为下游具体场景应用奠定基础。最后，通过微调、 bmr.202312.00027V2 http://www.biomedrxiv.org.cn/article/doi/bmr.202312.00027 此预印本（未经同行评审）的作者拥有该文稿的版权，biomedRxiv拥有永久保存权。任何人未经允许不得重复使用。 〔作者简介〕 郑琰莉，学士，发表论文 2 篇; 通信作者: 苏文星，硕士，发表论文 4 篇。 提示工程等实现智慧医疗全周期、医学研究和医疗元宇宙等具体场景的应用，具体架 构见图 1 所示。 图 1 人工智能大模型在医疗领域应用的构想架构 3.3 人工智能大模型在智慧医疗全周期的应用 3.3.1 就诊前的应用 大模型不仅可以生成高质量的自然语言文本，还具备强大的问答能力。可以使用 大模型搭建问答系统，回答患者关于挂号问诊、基础医疗知识、健康宣教等方面的问 题，有助于减轻医务人员的负担，提高患者就诊效率。2022 年，Ayers JW 等进行了一 项有关医学问题回答的研究，研究结果表明 ChatGPT 在绝大多方面表现得比执业医生 更加出色，尤其在“回答质量”和“同理心”方面尤为突出[16]。2023 年 4 月 Cascella[17] 等人分析了 ChatGPT 在临床实践中的可能作用，比如提供诊断建议，回答常见问题， 进行健康宣教等。但需要注意的是，由于医疗领域具有特殊性，如果某些问题回答产 生错误将会为患者带来较大的风险。因此，可在一定约束和规范下，尝试在该领域开 展实验应用，这将极大程度上提高医务人员的工作效率，改善患者的就诊体验。 3.3.2 就诊中的应用 bmr.202312.00027V2 http://www.biomedrxiv.org.cn/article/doi/bmr.202312.00027 此预印本（未经同行评审）的作者拥有该文稿的版权，biomedRxiv拥有永久保存权。任何人未经允许不得重复使用。 〔作者简介〕 郑琰莉，学士，发表论文 2 篇; 通信作者: 苏文星，硕士，发表论文 4 篇。 电子病历（Electronic Medical Record，EMR）是临床诊中重要的应用工具之一， 指医务人员在医疗活动过程中以文字、符号、图表、数字、影像等形式产生和记录的 重要医疗信息资源。由于病历涉及的内容繁杂且形式多样，在临床中记录、使用和分 析的效率不高[18]，因此可借助大模型强大的理解分析和创造能力，自动化生成病历和 医学报告，通过口述或手写记录方式辅助医务人员生成结构化的电子病历，提高医务 人员的工作效率。同时，大模型还可以对病历的内容规范性和合理性进行检查，分析 诊疗方案是否科学，给医生智能推荐诊断和治疗方案等。此外，大模型具有强大的 CV 能力和推理决策能力，可以用于改善医学影像质量、辅助医疗诊断决策、推演治疗方 案等。大模型融合虚拟现实技术，可以在术前对患者手术方案进行多次模拟，进而提 高手术的成功率[14]。 3.3.3 就诊后的应用 大模型还可以从病历中抽取患者群体的医疗信息和医疗指标，为其提供量身打造的 健康管理方案，并进行健康跟踪和风险预测。诊后大模型通过分析来自可穿戴设备或 家庭监测系统的实时数据，以检测患者任何异常或病情恶化的迹象，从而及时进行干 预和调整治疗计划。在医药服务方面，北京大学第三医院药剂科翟所迪等[19]分析了 GPT-3.5 和 GPT-4 在用药咨询中的准确性和可行性，展示了大模型在医疗保健领域的巨 大潜力。此外，苏龙翔等[20]将大模型应用到真实病例