人工智能大模型在医疗价值链上的应用场景和实践（30页 PPT）

微信扫码，打开到小程序

人工智能大模型 在医疗价值链上的应用场景和实践 2024/11/19 Yubo Ji s EMENS: H a l t h ' n r s " , " Unrestricted © Siemens Healthineers, 2024 02 视觉大模型 (VLM) 04 多模态大模型 (Diffusion-related) 05 展望 01 大语言模型 (LLM) 03 语言视觉大模型（ VLLM ） AI 大模型概 览 s EMENS: H a l t h · n r · · D&A ， Yubo Ji 2 © Siemens Healthineers, 2024 Topic 1 大语言模型 LLM © Siemens Healthineers, 2024&AYubo Ji 8*22B Gemma LLAMA 3 Grok-1 国产语言大模型 开源闭源混合 仅开源 仅闭源 开源闭源混合 仅开源 仅闭源 LLM 的发展之 路 s EMENS: H a l t h · n r · · 国外语言大模型 DB©RSXiemens Healthineers, 2024 里 程 碑 临床文档生成 ( 如电子病例， 临床笔记， EHR) 获取临床洞见， 辅助诊断 报告规范化， 术语归一化 智能随访 出院小结生成 辅助生成 检查建议和计划 相似病例查询 辅助生成 治疗建议和计划 l J 医学文献 / 指南解读 科研方向预测 报告匿名化 / 结构化 代码辅助生成 临床科普文生成 赋能临床试验 智能预问诊 智能导诊 / 导医 （体检）报告解读 疾病描述 健康生活智慧管家 健康风险预测 预诊断常见疾病 症状评估 就医指引 就诊服务 实验室结果解读 中医诊疗 用药咨询与指导 洞悉药物相互作用 医生助手 患者助手 LLM 在医疗领域的使用场 景 面向科研 科研转化助手 s EMENS: H a l t h · n r · · 面向医生 面向患者 © Siemens Healthineers, 2024 5 纯文本大模型在医疗中的产品 上海人工智能实验室 OpenMEDLab 浦医 Microsoft + Nuance 百度文心 – Ernie Health 三 星 healthGPT HARMAN 科大讯飞 - 星火大模 型 大医（商汤） Computed Tomography 6 © Siemens Healthineers, 2024 Hippocratic AI Corti © Siemens Healthineers, 2024 在右侧髂窝内，盲肠的后内侧可见扩张 的厚壁阑尾（最大直径 13 毫米；长度 7 厘米）。 西门子医疗 LLM 实例 1 – 自然语言报告 结构化报 告 s EMENS: H a l t h · n r · · 西门子医疗 LLM 实例 2 一 自动扫描协议生成 -> 质 控 / 提速 s EMENS: H a l t h · n r · · © Siemens Healthineers, 2024 8 Topic 2 视觉大模型 VLM © Siemens Healthineers, 2024&AYubo Ji Compared with CNN, VIT is a more universal architecture 视觉大模型技术路线 ImageNet ResNet UNet YOLO MOCO ViT Swin Transformer DETR Deformable DETR UNETR Masksformer 等框架 MAE VLM 的发展之路 （密集预测类任务） Prove VIT architecture can perform well in Dense Prediction tasks MAE (Masked Autoencoders) s EMENS: H a l t h · n r · · © Siemens Healthineers, 2024 Author | Department 10 • Brain MR Detection and quantification of volumetric changes in the brain for morphometry analysis/ 脑区体积形态学分析及脑白质高信 号识别 • Shoulder MR Automated assessment of the rotator cuff/ 肩袖撕裂检测分析及肌肉退行性程 度 评估 • Chest CT Assist in evaluating the Lung, heart ,aorta and spine in chest CT/ 基于平扫 CT 的肺部、心脏、主动脉、脊柱自动化评估 • Chest CT Rib Fracture Detection Detection and provide location of rib fractures/ 基于 CT 的肋骨骨折检出及定位 • Chest X-ray Localization and characterization of findings on upright chest posterior anterior images/ 基于 X-ray 的胸部疾病（占位性病变、 实变、肺不张、胸腔积液、气胸）定位及分析 • Chest X-ray Bone Fracture Detection Highlight visible rib and clavicle fractures/ 基于 X-ray 的肋骨、锁骨骨折检出及定位 • Chest X-ray Lines & Tubes Automated assessment the positioning of central venous catheters and tubes/ 快速定位胸片图像中为维持生命目的插入的设备 及并发症 • Prostate MR Automated segmentation of the prostate gland and lesions for biopsy planning/ 前列腺轮廓定位及病灶自动检出，助力前列腺 穿刺活检 • Organs RT High-quality contouring of target lesions and organs at risk/ 自动化放疗危及器官轮廓勾画 o MR Aneurysm Automatic detection of potential aneurysm/ 动脉瘤自动化检出 o CT Pulmonary Embolism Automated detection of the mass filling defects on CTPA images/ 肺栓塞自动检出及定位 o MR/CT Liver Automated assessment and segmentation of focal liver lesions on CT and MR images/ 肝段分割及体积分析、原发性肝脏病灶 自动检出及定位 AIRC Frontier Research Platform E·MEN … H a l t h n r · 西门子医疗锐眼科研平台 Brain MR Shoulder MR Chest CT Chest Xray MR/CT Liver Prostate MR Organs RT © Siemens Healthineers, 2024 Chest Xray- Line/Tube Chest Xray- Fractures MR Aneurysm Chest CT Rib … 11 PE 病理大模型 https://arxiv.org/pdf/2309.07778.pdf 眼科大模型 https://www.researchgate.net/pu blication/373901629_A_foundatio n_model_for_generalizable_diseas e_detection_from_retinal_images 内窥镜大模型 https://arxiv.org/pdf/2306.1674 1.pdf 超声大模型 Ultrasound Foundation Modelling and Its Clinical Applications 2D/3D RadFM Towards Generalist Foundation Model for Radiology by Leveraging Web-scale 2D&3D Medical Data s EMENS: H a l t h · n r · · SAM-Med2D (Finetuned SAM in 4.6M medical images and 19.7M masks) -- 一 " - - -⃞� - - - - - - - - - - - - - - - - - - - - . 医学影像分析图谱 VLM 医学领域的应 用 © Siemens Healthineers, 2024 Digital Services 12 数据集名称 模态 Case 数量 描述 BraTS21 MRI 5004 Brain Tumor Segmentation LTS CT 131 Liver Tumor Segmentation MSD CT+MRI 2627 Medical Segmentation Decathlon CAS2023 MRI 150 Intracranial Vessel Segmentation RibFrac2020 CT 500 Rib Fracture Detection and Classification Sum ***** 西门子 VLM 实例 -> 基于掩膜的自监督影像大模型 -> 加速模型 开发 数据集 ： 内部 + 公共混合数据集 © Siemens Healthineers, 2024 13 VLM -> 掩膜恢复结果 -> 提取优秀特征 neo: 输入图像 掩膜图像 恢复图像 输入图像 掩膜图像 恢复图 像 © Siemens Healthineers, 2024 14 Training epochs: 4500 iterations 2200 iterations Energy cost saved Performance: Dice=0.899 Dice=0.931 Performance Improved 200 data 50 data Fewer data needed … Annotation time: 16 hours 4 hours <Advanced Diagnose & Therapy > Without Pre-train With Pre-train Comparison VLM --- 对比实验结 果 Manual labeling labor reduced s EMENS: H a l t h · n r · · 15 © Siemens Healthineers, 2024 Data Used: 基于掩膜自监督方法 快速迭代下游任务 基于大模型的密集预测任务 （赋能科研标注，产品研发 ) 影像数据质量评估 相似影像检索 纯影像大模型在医疗领域的使用场景 病理 / 影像诊断大模 型 s EMENS: H a l t h · n r · · © Siemens Healthineers, 2024 DA 16 Topic 3 视觉语言大模型 VLLM 1 &AYubo Ji © Siemens Healthineers, 2024 视觉语言大模型技术路线 Transformer VIT 单塔视觉语言大模型 双塔视觉语言大模型 e.g. Flamingo, MiniGPT,VLBert ， BLIP2 … e.g. CLIP ， ViLBert, LXMBert, BLIP … VLLM 的发展之 路 s EMENS: H a l t h · n r · · CLIP © Siemens Healthineers, 2024 Computed Tomography 18 数据稀缺 开源的医学图像数据集规模较小， 会限制影像语言大模型在该领域 的性能。 知识专业密集 专业知识需求高，临床概念层级复杂，缺 乏深入理解可能影响性能 多尺度信息 医学图像解读需重视多尺度特征， 局部特征对诊断影响显著 挑战： VLLM 在医学领域的局限 性 s EMENS: H a l t h · n r · · © Siemens Healthineers, 2024 19 3] © Siemens Healthineers, [1] [2] GLoRIA / Shih-Cheng Huang, MedCLIP: Contrastive Learning from Unpaired Medical Images and Text / Zifeng Wang MedKLIP: Medical Knowledge Enhanced Language-Image Pre-Training / Chaoyi Wu,Xiaoman Zhang,Ya Zhang,Yanfeng Wang,Weidi Xie VLLM 的代表论 文 s EMENS: H a l t h · n r · · 20 2024 Med-Gemini 一 性能最好，未来趋 势 长文本处理 Self training+ 网络搜索 内在能力 注入医学领域知识 多模态理解 微调 + 定制编码器 高级推理 推理链提示 s EMENS: H a l t h · n r · · © Siemens Healthineers, 2024 D&AYubo Ji 21 结合患者医疗影像和历史健康记录 辅助制定个性化治疗方案 视频理解（如手术视频） 多模态影像报告解读和生成 智能预问诊和常见疾病预诊断 （可处理包含视觉信息的多轮问答） 患者健康监测：结合可穿戴设备数据 和患者视觉体征。 患者助手 医生助手（诊断 + 手术） 图文医疗文献 解读与挖掘 VLLM 在医疗领域的使用场 景 面向科研 科研与教育 s EMENS: H a l t h · n r · · 面向医生 面向患者 © Siemens Healthineers, 2024 22 Topic 4 AIGC (Diffusion Model) 2 &AYubo Ji © Siemens Healthineers, 2024 Diffusion 模型技术路线 DDPM (2020) Diffusion Model (2021) Stable Diffusion (2022) DIT Diffusion Transformer (2022) GAN Flow-based VAE AI Stability | Stable Diffusion Diffusion 模型的发展之 路 科大讯飞 | 星火绘画大 师 阿里 | 通义万象 智谱清言 |AI 画图 Google | Imagen Synthesia OpenAI | Sora Midjourney 商汤 | 秒画 腾讯 | 混元助手 百度 | 文心一格 OpenAI | DALLE-3 Pika Labs Runway ML s EMENS: