预训练大模型与医疗：从算法研究到应用 1. 预训练大模型概述 2. 理解大模型的内在机理 3. 赋予模型精准性与可解释性 4. 医疗领域应用 5. 清华探索：数基生命 CHIMA 20Pag2 Tsinghua Confidential | lvhairong@tsinghua.edu.cn CONTENTS 预训练：从大数据到小数据 ③ 精 准 可 解 释 ④ 医 疗 应 用 et al. "Knowledge neurons in pretrained transformers." arXiv preprint arXiv:2104.08696 (2021). 白箱算法的可解释性与模型构造本身高度相关， 因此对于大模型可以根据相关思路设计更具有 针对性的可解释性方法。 主流的模型相关可解释性方法： • 基于梯度显著性 [1] • 基于因果启发 [2] • language models." arXiv preprint arXiv:2302.07257 (2023). 背景 用于医学图像的计算机辅助诊断 (CAD) 网络通过 使 用先进的深度学习算法来支持临床决策，在医学 领 域取得了重大成功。大型语言模型 (LLM) 最近 展示 了在临床应用中的潜力，其提供了宝贵的医学 知识 和建议。 挑战： LLM 目前难以从这些医学图像中解释和提 取

霍普菲尔德神经 网络被提出 1986 年 BP 算法使得大规模神 经网络的训练成为可能， 将 AI 推向第二个黄金 期 199 0 年 AI 计算机 DARPA 计划失败，政府缩 减投入， AI 进入第 二次低谷 2006 年 Hinton 提出“深度 学习“神经网络使 得人工智能性能获 得突破性进展” 2013 年 深度学习算法在语音 和视觉识别上识别率 显著提升，进入感知 智能时代 2025 人工智能算法发展阶段 典 型 应 用 核 心 技 术 应 用 表 现 统计机器学习 1980 年代至 21 世纪初期 硬件奠基，算法发展，数据积累 算法框架：逻辑回归、朴素贝叶 斯 .... 特征工程 + 算法 推荐系统 输入法 可解释但依赖人工经验输入 深度学习 2010-2020 硬件发展，大规模数据，算法突破 推荐系统 人脸识别 算法框架：深度神经网络、卷积神经网络 算法框架：深度神经网络、卷积神经网络 自动进行特征学习，端对端训练，有监督 在特定场景效果好，但需要根据 不同任务训练不同的模型，泛化 能力差 生成式 AI 2020- 硬件、算法、大数据全面突破 对话机器人 算法框架： Transformer 大规模无 监督预训练 多任务、多模态统一处理 自然语言理解、世界知识记忆、 逻辑推理 人工智能时代推动检验技术的发展 大数据 人工智能 物联网 云计算 自动化图像识别

域专家系统的研制；第二个阶段 为 90 年代至 21 世纪初的传统机器学习阶段，研究者们主要尝试单一或多种机 器学习算法进行中医智能辨证诊断研究；第三个阶段为 21 世纪 10 年代以来的 大数据与深度学习探索阶段，随着大数据技术的成熟、计算机算力的提高和深度 学习等算法的发展，尤其是 2016 年深度学习相关技术崛起后，中医智能辨证诊 断研究又进入了新一轮的中医智能诊断研究高峰。 （1）基于知识与经验推理的阶段 习 等相关智能技术改进中医诊断流程。中医诊断一定程度上可以视为将人体所表现 信息即证候在所有已知证候库中进行匹配，所以可以把中医诊断作为机器学习问 题来对待，并采用如决策树、贝叶斯算法、支持向量机等分类算法来解决此类问 题。如中科院自动化所构造的对中医专家经进行自动知识获取工具，此外还建立 了基于人工神经元网络的中医儿科咳喘诊疗系统等。 然而获取用于构建模型的有标记的数据需要中医专家花费大量精力进行手工 在早期，研究者一般采用一种或两种技术来解决中医的智能诊断问题，随着 研究的深入和问题复杂度的增加，研究者发现采用多种技术更加有利于诊断问题 的解决，多种智能技术混合开始用于问题解决。 如华南理工将遗传算法、模糊技术和神经网络三种技术交叉，针对类风湿性 关节炎，提出了一种中医分型诊断系统。厦门大学人工智能研究所利用粗糙集、 神经网络及其软计算技术，构建了关于八纲辨证和脏腑辨证的多种模型和系统， 也取得了良好的成果。

都需要有恰当的控制水平来实时部署 DER。 微电网设计进入新时代 由于需要达成运营和财务目标，并从诸多可能的系统架构中进行选择，微电网设计颇具挑战性。幸运的是，目前出现 了一些设计工具，这些工具使用高级建模算法来协助进行多种可选设计方案的可行性分析。 设计工具在综合考虑现有设备、成本、功能、项目执行等制约因素的基础上创建微电网模型。为了开发出最完整、最 精确的模型，还应考虑以下方面： • 地理位置限制和当地天气预报 可再生能源的生产和存储规模应以最有利于实现零净协议目标为准绳。 施耐德电气 4 设计工具通过采用高级控制算法并同步分析多种类型的 DER，可以确保设施全年的电力和热需求得到满足，并帮助 优化 DER 的规模、类型和组合，从而实现最佳财务绩效，缩短投资回收期。 在规划微电网项目时，设计工具采用与最终微电网控制系统相同的算法是很有利的。规划设计阶段中采用的控制器 模型与运营时的控制系统保持一致有助于确保实现最佳的微电网性能。 可扩展性和适应性，以满足小型或大型站点的要求，并允许将来扩展和快速集 成更多 DER 图 4: 示例为一个集成的微电网控制系统，采用模块化、可扩展的设计。 预定义的控制算法 除了模块化的开关设备设计外，预封装的微电网管理软件还包括预先设计的算法，可以为所有重要的决策和控制应 用提供支持。 在本地“边缘控制”层，侧重于监测和控制电力生产和消耗的功能将包括： • 并离网管理。支持离网运营，支持切除关键负载，并在事件发生后重新连接。

质结构预测，显著提升药物靶点的识别和筛选效率。 2.智能药物分子设计与优化 面向药物分子设计和先导化合物优化等业务活动，针 对传统基于经验的药物设计模式限制问题，通过运用计算 机模拟、数字孪生以及深度生成模型和强化学习算法等人 工智能（AI）技术，以更高的效率和更低成本获得符合特 2 定要求的化合物，实现药物分子的从头设计及结构优化。 3.超高通量化合物虚拟筛选 面向新分子实体（NMEs）筛选等业务活动，针对传统 周期，节 省研发投入。应用中药工艺模型库和知识库，开展基于模 型的物料、工艺和装备协同设计与优化，提高工艺放大和 生产过程可靠性。将高质量的工艺和质量数据集与数学建 模方法或人工智能（AI）算法结合，辅助理解中药工艺中 关键物料属性、关键工艺参数（CPP）和产品关键质量属性 之间的关系，通过机器学习、迁移学习和强化学习等方法 实现数据增强，提升工艺模型可靠性和工艺参数的可调控 性，保持生产过程的稳定性和可控性。 图谱、生物传感器等评价技术，针对饮片炮制、中成药提 取、浓缩成型等质量传递过程开发统计分析算法，实现及 13 时准确的中药原料质量回顾与数据趋势分析，提高中药材 原料的稳定和均一性水平。 33.药品质量回顾与优化 面向药品质量回顾等业务活动，部署质量回顾系统 （QRS），结合制药生产、质量分析、质量管理场景的统计 分析算法，及时准确开展生产工艺及控制方法回顾与数据 趋势分析，实现产品质量的持续改进和提升。

频分析 自动存储 监控视频进行实时分析，支持自动报警、 自定 义分析区域、异常事件视频自动存储等 实时预警 支持多终端登录，远程了解实时视频及异 常情 况处理 支持算法叠加 功能支持叠加，可根据实际需求开通  相应算法，灵活便捷 传统视频监控 VS 智能分析 5Gn eye 视频监控中台运营管理门户 环境 EEnvironment H 健康 Health S 安全 Safety 墙区域，一旦有可疑人员靠近或 攀越者围墙时，系统将锁定目标， 并自动调用实际场景中声光报警 装置，对可疑人员发出告警 功能特点 2 ：视频 AI 智能分析与告警（ 3 ） 烟火识别 通过 AI 智能分析算法，对区域 内烟雾及明火进行有效识别， 一旦发现危险及时告警，并且 可以联动警灯，防止造成重大 安全事故 n 人员摔倒监测 对重点区域进行视频监控，对人 体关键点进行监测，通过摔倒模 型判别人员是否摔倒，且 过网络及 时上报故障、隐患发生的时间、地点、类型等信息 VR 全景监控模块 流媒体平台具有高效视频管理及传输功能，兼容全景 VR 视频直播信号的大、长、久传输特点，采用高效 H.265 编码算法，支持多种协议间传输分发，最大分辨率支持 8K 直播的传输及存储 管理监控模块 监控平台主要用来控制智能巡检机器人自主巡检电力设备，实时显示巡检结果，从而代替人工巡检，提升 电力部门的运维效率

智能化管理。这一转变有助于提高中医院的服务水平，提升患者的 就医体验，同时促进中医事业的可持续发展。 2. AI 大模型概述 AI 大模型是近年来人工智能领域的重要进展，通过大规模的数 据训练和深度学习算法，能够在各种复杂任务中展现出强大的理解 和生成能力。其核心在于通过深度神经网络架构，尤其是 Transformer 模型，处理和分析文本、图像和音频信息。这些模型 在自然语言处理、计算机视觉以及其他领域中已经展现出超越传统 本，甚至在特定的应用场景中进行复杂的推理和决策。借助这些 AI 大模型，中医院的门诊病历自动生成系统能够显著提高数据录入的 效率和准确性，减轻医务人员的工作负担。 AI 大模型的应用涉及多个关键环节，包括数据处理、模型选 择、算法优化和结果生成。在具体实施中，可以分为以下几个方 面： 1. 数据集成与输入格式化：系统需要将病人的基本信息、症状描 述、体检结果和既往病史等数据进行有效整合，以适应大模型 的输入要求。为此，可能需要设计标准的 评估。可能的选择包括结合医疗领域知识进行微调（fine- tuning）的版本，确保更符合临床实际。 3. 模型训练与优化：在选择模型后，通过对特定医疗文本的训 练，进一步提升模型的生成效果。此过程可能包括选用特定的 优化算法、调整学习率，以及利用结合现有病历数据集进行迁 移学习，从而使模型更好地适应中医院的具体需求。 4. 集成与接口设计：为实现自动化生成，系统需要设计用户友好 的接口，方便医务人员和患者进行数据录入和查询。通过

特定区域反向流量预警 内置双 Wi-Fi 支持热点 ，无线配置 Δ 彩色成像 告别黑白时代 住院大厅 进入： 5847 人 离开： 2381 人 3466 人 5432 人 n l 深度学习算法 ，智能分析识别刀、枪、瓶子、雨伞、 电池、笔记本电脑、手机、喷罐、剪刀等违禁品 l 安检数据实时上传平台 ，打破传统信息孤岛 ，实现安 检联网 l 配合安检平台并结合视频监控、人脸识别业务系统 ，每班不应少于 2 人 ，确保第一时间发现并准备处置火灾和故障报警。 消控室值班人员 在离岗监管 持证上岗监管 一键查岗 人员在离岗智能监控 人脸识别 人证比对 智能检测 利用深度学习智能算法 ，对消防通道堵塞、 电动车违停充电等违规现象进行智能监管 实时预警 报警展示报警位置、报警类型、报警视频预 览、 回放、抓图等 室内消防通道物品堵塞报警 安装两台 ， 可以保证院区周界无死角布控 精确分类检测 ， 实现事中精准报警 事 后快速检索 声光警戒一体 ， 事中震慑 ，有效干 预 03 医院报警管理 | 周界 防范 基于深度学习硬件及算法的人体 / 车 体 精准报警 声光警戒 喇叭 警戒灯 适用周界： u 全周界适应性 ，核心建筑、 高安防级别 优势： u 部署形式多样（埋地、 挂网、 贴墙） u 误报率极低 u 抗干扰能力强

一个平台，丰富应用，多方兼容，全院调 用 CHIMA 随时随地，移动终端，实时阅 片 CHIMA 胸部 DR 辅助诊断 支持三大类十余种胸部常见疾病的分类与检出 肺结节辅助诊断 AI 算法对于毫米级早期结节病灶可以有效检出 心脏 CTA 辅助诊断 AI 全自动心脏腔室分割、冠脉血管分割、冠脉中心线提取 肺炎辅助诊断 头颈 CTA 辅助诊断 骨折辅助诊断 肝脏 CT 辅助诊断 AI 新技术，构建患者服务“新基建” ，打造“ AI+ 服务”新模式 . 咨询 问路 导诊 分诊 值守 智能导诊 智能预问诊 智能诊前推荐 智能健康随访 区块链 缩小“数字鸿沟”，发展和推广便民惠民服务。 算法引擎 CHIMA 大数据 5G 人工智 能 患者业务 数据中心 传统 》 互联网 创新 AI 医疗元宇宙应用 打造未来元宇宙医疗服务体系，建设服务于诊前、诊中、诊 后全周期各环节的智能化平台， 文本数据 + 影像组学 + 生物信 息等多模态数据治理 AI 技术赋能 • NLP 自然语言处理 • 深度学习 / 机器学习 • 统计分析支持 • 工具、算法开放探索 CHIMA 提出科学问题 制定研究方案 收集数据 数据处理 数据分析挖掘

致 阅 片 体 验 ； 1, 消化道、 TCT 病理阳性检出率 >98% 2 , 病 例 智 能 筛 查 ； 3 , 病 灶 精 准 勾 画 与 智 能 量 化 分 析 ； 1, 华为病理数据压缩算法实现 30% 空间节 约 和 更 快 的 调 阅 2 , 3 0 - 5 0 年 低 成 本 蓝 光 存 储 ( 如： 30 年存 储 成本下降 57 %) ; 1, 实现多院区扫描切片、 计算工作站 热数据 (<2 周 ) 温数据 (<3 个月 ) 冷数据 (3 个月 -20 年 ) 分布式存储 蓝光存储 互联网 华为独有二次压缩算法 XX 县医院 远程病理存储 慧医宝 IdeaHub 病理数据分析效率提升 70%+; 未来可实现阅片量从单院区 6000 片 / 天增长到“跨院区 + 区域病 理” 10000+ 片 / 天。 多协议数据互通 多协议物联 价值 Al 模型 极简架构 极致安全 独有病理无损压缩算法， 节 约 3 0 % + 存储空间 免拷贝，一份数据 多系统同时访问 有线、 WIFI 、 5G 、 RFID 、 蓝牙 .. 设备效益、 危重症风险 “ 天然”云化架构