破[1]。大模型又被称 为预训练模型、基础模型（Foundation models），它可以集中各种模态的数据信息，然 后基于海量数据、超大规模参数进行预训练（Pre-training）并通过微调（Fine-tuning） 以适配不同领域任务需要[2]。在医疗领域，医疗数据本身就具有多模态的特性，大模型 将进一步推进智慧医疗、医疗元宇宙和医疗研究的发展进程。比如电子病历理解、医 疗问答、 析其面临的风险与挑战并进行展望，旨 在为大模型在该领域的研究提供新思路。 2 人工智能大模型发展概述 2.1 人工智能大模型发展与分类 随着人工智能技术的进步和深度学习算法的发展，以及海量多模态数据的爆炸式 增长，芯片、网络、算力等基础建设的持续增强，大模型也迎来了快速发展机遇。2014 年生成对抗网络 GAN（Generative Adversarial Network）[4]的出现，推动了生成式人工 Network）[4]的出现，推动了生成式人工 智能的革命性发展，随后以 Transformer[5]、BERT[6]为代表的预训练模型的诞生，颠覆 了以往的深度学习模型网络结构，大幅提高了模型训练速度和对多模态感知、创作和 推理的能力，同时模型的参数量级也从百万级跃升到了百亿级，甚至出现了千亿级大 模型。截止 2023 年 6 月，国内外有超过百种大模型相继发布，国外如 Stable Diffusion、 GPT-4、Med-PaLM

通过 AI 平台赋能医院，构建智慧环境新体验，实现业务流、数据流、资金流的统一管控。 综合运营监管服务 多 模 态 AI 服 务 平 台 AI 服务 AI 服务 AI 服务 AI 服务 多模态应用 AI 服务 影像云平台 AI 服务 多 模 态 AI 服 医院 AI 驱动模式创新，打造覆盖区域各级医疗机构一体化多模态 AI 综合服务平台。 助力医学人工智能社会治理实验和国家智能社会治理实验特色基地建设，引领区域，辐射全国。 构建智慧医疗云平台 - 构筑区域医疗中心 xxx 县级中医院 乡镇卫生院 村卫生室 xxx 全科影像的互联互通和诊断 13 款影像 AI 应用一体化融合 多模态影像标注和训练管理 xxx 总院 xxx 北院 xxx 海南分院 xxx 无锡分院 xxx 舟山分院 xxx 卢湾分院 xxx 康复医院 xxx 古北医院 xxx 太仓医院 xxx 新发展医院 构建“未来医院”跨院区多模态 AI 技术融合平台 医疗 AI 能力涵盖：肺部 CT 检查、心脏 - 冠脉

2023年是中国医疗大模型发展的元年，各种医疗大模型已广泛应用于临床辅助决策、 医学研究、健康管理等多个场景。未来，医疗大模型有望实现多模态AI与医疗实践全 流程的深入链接，应用于医疗教育和临床培训，提高药物研发和药物反应监测等方面 的能力。但在实际应用中，医疗大模型仍面临一些挑战，如准确度、透明度和可解释 性等问题，以及对数据隐私和安全问题的担忧。本文主要探讨医疗大模型在医疗领域 的应用及其面临的挑战。 意度和医疗效率；二是分析患者反馈、社交媒体评论和医疗调查数据，发掘患者意见 和需求，为医疗机构提供建议，助力医疗服务改进和患者体验提升。如，东软针对医 疗领域推出添翼大模型，全方位融合医疗行业解决方案、产品与服务，添翼的多模态 数据融合能力可为医院管理者提供对话式交互和数据洞察，简化数据应用，实现精细 化医院管理。 在药物研发过程中，医疗大模型可预测药物-蛋白质相互作用和药物毒性等信息，从而 评估新药的功效和安全性，有 理复杂和变化的医疗问题 时具有优势。 在医学影像分析方面，传统医学影像分析需要专业的放射科医生或病理学家进行手工 解读，耗时且存在主观性。随着人工智能技术的发展，ChatGPT目前已经可以分析多 模态信息，在未来有望能够分析X光、CT扫描、MRI等医学影像，自动检测异常或疾 病迹象，提供快速的初步诊断。此外，它还可以学习大量样本，提高准确性和一致 性。 在医学研究和知识发现领域，传统医学研究依赖于繁琐的实验和文献回顾，速度较

需要多期图像联合查看，但不同期相有变形 • 肝病被认为是“亚洲病”，国外研究相对较少 商汤 SenseCare 肝脏智能产品 • 行业首发肝脏智能解决方案 • 覆盖 CT 与 MR 多模态数据，全方位助力疾病诊断 • 搭载肿瘤切除与肿瘤消融多种术式智能规划 • 无缝融入临床工作流，帮助医生提升效率 未来医疗治疗 中心 CHIMA SenseCare 肝脏产品从临床诊断到智能手术规 + 工具 + 方法论融合 • 助力高水平医院建设 智慧医学科研平台 全院级“多模态异构数据治理 + 智能工具应用 + 科研转化体系建设”支撑高水平医院建设目标 多模态异构数据治理 • AI 技术 + 疾病知识图谱融合 • 文本数据 + 影像组学 + 生物信 息等多模态数据治理 AI 技术赋能 • NLP 自然语言处理 • 深度学习 / 机器学习 专病数据填充 数据治理及标准化 统计分析 核心结果分析 绘制图表 结果解读 医学知识发 现 科研论文管理 辅助决策支持 构建肺癌专病库涵盖 68 个专病域， 951 个指标 AI+ 多模态专病探索研究 实现数据从业务到科研，从成果到临床的闭环应用，高效为临床研究者探索和挖掘科研成果。 以专科发展带动诊疗能力和水平提升。探索基于影像组学进行疾病诊断研究、基于宏基因组学分析进行诊断模型研究等。

a l t h ' n r s " , " Unrestricted © Siemens Healthineers, 2024 02 视觉大模型 (VLM) 04 多模态大模型 (Diffusion-related) 05 展望 01 大语言模型 (LLM) 03 语言视觉大模型（ VLLM ） AI 大模型概 览 s EMENS: H a l t - - - . 医学影像分析图谱 VLM 医学领域的应 用 © Siemens Healthineers, 2024 Digital Services 12 数据集名称 模态 Case 数量 描述 BraTS21 MRI 5004 Brain Tumor Segmentation LTS CT 131 Liver Tumor Segmentation MSD CT+MRI 注入医学领域知识 多模态理解 微调 + 定制编码器 高级推理 推理链提示 s EMENS: H a l t h · n r · · © Siemens Healthineers, 2024 D&AYubo Ji 21 结合患者医疗影像和历史健康记录 辅助制定个性化治疗方案 视频理解（如手术视频） 多模态影像报告解读和生成 智能预问诊和常见疾病预诊断

对学习过程的多维度精准感知与基于数据的自适应反 馈，真正理解每一个学习者：感知他们的学习节奏， 洞察他们的认知特点，从而实现规模化因材施教与个 性化发展支持的协同发展。 在AI教室的整体架构中，鸿合依托多模态感知等技术， 实现情感计算与学情追踪的深度融合。同时，在恪守 最小必要和隐私优先原则的前提下，对师生课堂行为 以及师生互动模式进行分析，在保障信息安全的前提 下，实现无感数据采集与精细化安全守护的均衡统一， 国建设规划纲要(2024—2035年)》提出打造AI教育大 模型、建立数字教育体系，以顶层设计消除技术应用 壁垒，为深度融合提供清晰方向。 在政策牵引下，AI技术从教育工具加速向生态重构迈 进。它突破千人一面模式，通过多模态分析构建个性 化学习路径；以双主体教学让AI承接基础辅导，教师 聚焦创新培养。同时依托教育新基建，AI打破资源壁 垒，实现教育普惠，既回应政策要求，也奠定未来教 育技术基础。 这种技术演进推动教育体系向灵活开放变革。AI成基 息安全等领域实现自主可控的国家战略，在教育领 域表现为国产芯片、操作系统等的应用。 大模型 指参数量巨大（通常在十亿级以上）的深度学习模型，具备通用能力，如语言理解、逻辑推理 等。LMM特指大型多模态模型。 垂直大模型 针对特定行业（如教育、医疗）的专业数据进行深度训练和微调的大模型，比通用大模型更具 专业性和准确性。 AI Agent AI Agent指的是能够自主感知环境、进行规划决策并执行行动以达成特定目标的AI系统，被视

大模型与高等教育深度融合，为高等教育带来了前所未有的新机遇，也带来一系列挑战，需要从技术、教育和 社会三个视角进行审视和思考。技术服务层提供统一模型服务接口，整合自然语言处理、计算机视觉、多模态 等核心人工智能能力，构建大语言模型、视觉大模型、多模态大模型等技术底座；场景应用层将技术能力转化 为教育实践，实现驱动教学质量提升、助力学生全面发展、赋能科研创新、精准科学评价和校园全域治理等具 体应用；高等教育职能层围 和 Qwen2.5 系列模型合成的数据。在算法趋同、算力标准化背景 30 大模型背景下高等教育数智化转型研究报告 下，数据质量和规模成为大模型差异化竞争的关键。随着技术进步，大模型展现出整合多模态数据的潜力，有 望实现更接近人类的认知能力。 然而，由于互联网的开放性，虚假或者被人为引导过的数据可被轻而易举地上传到网络，将包含这类数据的少 量样本引入互联网数据集就可能使模型数据“中毒”， 理边界，实 现知识的广域传播和智能分发。在理想情况下，边远地区的学习者可通过互联网获取优质资源和个性化指导， 这种“知识平权化”趋势有助于弱化地域、经济和社会背景对教育机会的限制作用。大模型的多模态理解能力 将优质精品课程资源进行语义解构与智能重组，根据学习者的认知特征和知识结构量身定制个性化学习路径。 这种“内容智能适配”彻底颠覆了传统教育中“千人一面”的标准化模式，使学生的全方位发展具有更多的个

特点：通用大模型竞争白热化，垂类模型兴起，社会伦理问题爆发。 · 关键进展： ChatGPT(2022.11): 对话能力接近人类， 2 个月用户破亿。 GPT- 4(2023): 支持多模态输入 ( 文字 + 图片 ), 考试能力超越 90% 人类。 · 开源挑战： Meta 的 LLaMA 、 DeepSeek 降低大模型使用门槛。 · 争议焦点：失业风险：编剧、设计师、客服等职业面临替代压力；监管博弈：中 2019 120% 2021 d 2020 CDC 疾控 人 探索无空期 时间 2 .2 大模型的发展历程 OpenAl 在 2023 年 3 月发布了 GPT-4, 它是一个多模态大模型 ( 接受图像和文本输入，生成文本 ) 。相比上一 代的 GPT-3, GPT-4 可以更准确地解决难题，具有更广泛的常识和解决问题的能力。 2023 年 12 月，谷歌发布大模型 Gemini 系列 (OpenAl) 、 Bard(Google) 、 DeepSeek 、 文心一言 ( 百 度 ) 等 多模态大模型 是指能够处理多种不同类型数据的大模型，例如 文本、图像、音频等多模态数据。这类模型结合 了 NLP 和 CV 的能力，以实现对多模态信息的 综 合理解和分析，从而能够更全面地理解和处 理复 杂的数据。代表性产品包括 DingoDB 多 模向量 数据库

+ 工具 + 方法论融合 • 助力高水平医院建设 智慧医学科研平台 全院级“多模态异构数据治理 + 智能工具应用 + 科研转化体系建设”支撑高水平医院建设目标 多模态异构数据治理 • AI 技术 + 疾病知识图谱融合 • 文本数据 + 影像组学 + 生物信 息等多模态数据治理 AI 技术赋能 • NLP 自然语言处理 • 深度学习 / 机器学习 专病数据填充 数据治理及标准化 统计 分析 核心结果分析 绘制图表 结果解读 医学知识发 现 科研论文管理 辅助决策支持 构建肺癌专病库涵盖 68 个专病域， 951 个指标 AI+ 多模态专病探索研究 实现数据从业务到科研，从成果到临床的闭环应用，高效为临床研究者探索和挖掘科研成果。 以专科发展带动诊疗能力和水平提升。探索基于影像组学进行疾病诊断研究、基于宏基因组学分析进行诊断模型研究等。 大医”应用场景 合 作 医 院 更多 输入症状，小喵帮您推荐科室 ~ 大 医 发送 综合运营监管服务 多 模 态 AI 服 务 平 台 AI 服务 AI 服务 AI 服务 AI 服务 多模态应用 AI 服务 影像云平台 AI 服务 多 模 态 AI 服

能力突破 开源、低成本、国产自主 n 基础能力：进入推理模型阶段，并跻身全球第一梯队 1. 推理能力跃升： DeepSeek大模型核心技术突破，实现复杂推理任务的精准处 理与高效执行，覆盖多模态场景应用。 2. 国际竞争力对标：模型综合性能跃居全球第一梯队，技术指标与国际顶尖水平 （如GPT系列、Claude等）直接对标，奠定国产大模型的行业标杆地位。 n 核心加分项：开源、低成本、国产自主 第23页 人工智能：现代（2020-，大模型） 大模型（预训练大模型）：大（数据多、参数多、算力多），模型（语言、视觉、多模态） Ø GPT架构：解码器（GPT），生成式人工智能（AIGC），生成-理解-决策（RL） • Transformer：大语言模型（LLM，大模型），多模态模型 ChatGPT（4.1、4o、o1、o3、o4）、Claude；Grok、Gemini；Llama、 …… OpenAI发布Sora，极大拓展了AI在视频领 域的想象力。 • GPT-40、Claude3.5、Gemini1.5、 Llama3发布，海外进入“一超多强”的竞 争格局。 • 国内多模态领域进展迅速，在部分领域领先 海外，视频生成模型可灵AI、海螺视频、 Vidu、PixVerse等模型陆续发布，并在海 外取得较大应用进展。 • 国内通用模型持续提升，Qwen2.5、文心