节省大量的人力、物力，治愈更多的患者。 TrialGPT, 基于大语言模型的临床试验患者匹配方法 近年来，随着大语言模型（LLM）的发展，越来越多的人注意到了大语言模型在提 高临床试验招募的效率和准确性方面的潜力。 大语言模型作为一种基于深度学习的AI技术，已经在许多领域展现出了惊人的能 力，比如大语言模型为自然语言处理（NLP）领域的文本生成、文本摘要、问答系 统等任务带来了颠覆 统等任务带来了颠覆性的突破，也为计算机视觉（CV）领域的文生图等多模态任 务提供了新的思路。简单来说，大语言模型是一种可以理解给定的上下文，并根据 上下文做出回应的生成模型。大语言模型首先在一个包含数万亿单词的大型语料库 上进行预训练，训练的方式是通过给定的文本序列去预测下一个单词，从而得到基 础模型（base model），如GPT-3、PaLM、LLaMA等。然后，这些基础模型可以 进一步在特定的任务上进行微调 疗、法律、教育，等领域的文本对基础模型进行微调以得到专用大语言模型，这些 模型同样在具体领域上展示出了良好的性能。此外，大语言模型具有在推理时根据 输入的PROMPT学习新任务的能力，即上下文学习（ICL），这可能也是大语言模 型在具体领域展示良好性能的原因之一。 鉴于大语言模型的巨大潜力，已经有研究者开始探索大语言模型能否在医药临床试 验中提供帮助。如近期，为了尝试大语言模型能否帮助患者和医生在海量的临床试

）：以模型为核心，是对真实世界的模拟和解释 • 用语言逻辑方法获取理论模型：模糊 • 用解析数学方法获取数学模型：精确 • 用计算数学方法获取数据模型：近似 • 用机器学习方法获取概率模型：复杂 • 用人工神经网络获取网络模型：黑盒 • 超过两层的神经网络可以逼近任意连续函数 人类智能 • 抽象（语言）：概念，数字，理 念 • 逻辑（理性）：归纳，演绎，类 专用任务模型： NLP 、 CV 、 Gaming…… 2. 通用任务模型： AIGC • Diffusion 、 transformer ◼ 从 NLU+NLG 到 LLM （大语言模型） 1. 语言逻辑和数据集蕴含了人类的认知智能 2. LLM 是人类的认知智能的实现方式之一 3. LLM 的原理很简单；工程很复杂；效果很神奇 3. 推理能力（涌现）：一般需要 10B 以上， 时刻）：表现是慢思考；本质是合成数 据 有些是产品能力，不是模型本身的能力： RAG Function Call 1. 语言能力： 一本正经地说话，语言顺畅， GPT 时达 到 • NLG+NLU ：语言理解、语言表达（包括温度和情商） • 人类语言、代码语言、 XX 语言 2. 知识能力：海量公开知识，言之有物， GPT-2 时达 到 • 顺带学习（基座模型）：文字中蕴含了知识

提出“智能”的行为主义定义，即通过外在表现而非内在机制判 断 智能。 2. 技术目标： 1. 为早期人工智能研究提供了明确方向，例如自然语言处理和对话 系统的开发。 2. 启发了后来的聊天机器人 ( 如 ELIZA,ChatGPT) 和语言模型的 发 展。 一、人工智能发展简史了解 CDC 疾控 人 1.2 人工智能的诞生 人工智能的诞生可以追溯到 20 世纪 50 年代 可迁移性高 学习到的知识和能力可以在不同 的任务和领域中迁移和应用。这 意味着一次训练就可以将模型应 用于多种任务，无需重新训练 二、大模型：人工智能的前沿 语言生成能力 大模型可以生成更自然、更流利 的语言，减少了生成输出时呈现 的错误或令人困惑的问题 2.2 大模型的发展历程 萌芽期：模型小 ( 参数 <1 亿 ) 、任务单一、依赖人工设计规则。 突破期：标志事件是 可以更准确地解决难题，具有更广泛的常识和解决问题的能力。 2023 年 12 月，谷歌发布大模型 Gemini, 它可以同时识别文本、图像、音频、视频和代码五种类型信息，还可以 理解 并生成主流编程语言 ( 如 Python 、 Java 、 C++) 的高质量代码，并拥有全面的安全性评估。 2024 年 12 月， DeepSeek 迅速崛起，震撼全球，使得人工智能进入“普惠”时代

随着2006年DeepLearning算法的提出，人工智能(AI)的发展进入 了第三次浪潮。DeepLearning凭借自身优秀的信息表征及关系提取能 力，已经为计算机视觉(cv)及自然语言处理(nlp)等领域带来了突破性的 进展。现在，AI的魔力已经被逐步引入药物研发的领域，并正在深刻地 改变这个领域的研究和发展流程。无论是在早期的药物筛选、药物优 化，还是在药物的临床试验和后期的上市监控，AI的应用都愈发广泛。 构相似性 分析则非常依赖已知的蛋白结构，对结构未知的蛋白无从下手。 随着AI技术的发展，越来越多的问题在AI的帮助下得到了改善。如大语言模 型可以整合海量的医疗研究相关文本，通过在文本中提取潜在的关联信息，发现 人类可能忽视的模式或连接。目前已有研究通过向大语言模型提问的方式，提取 出针对特定疾病的潜在靶点，从而避免一些不必要的组学实验。此外，AI模型完 成训练之后，可以将类似反向对接技术的时间复杂度降低到线性级别，甚至提高 基于上述所提的AI在靶点发现中的应用，本文将依据近期的AI医疗相关论 文，为大家介绍AI在药物靶点发现中的两个应用: 驱动新颖靶点的发现，预测蛋 白质结构。并将为大家介绍这些方法的技术细节以及局限性。 医学大语言模型驱动新颖靶点的发现 目前已有研究利用大语言模型，通过分析海量的医疗文本，实现了对新颖靶 点的挖掘。这里我们以英矽智能于23年9月发表的论文: Biomedical generative pre-trained based

(Diffusion-related) 05 展望 01 大语言模型 (LLM) 03 语言视觉大模型（ VLLM ） AI 大模型概 览 s EMENS: H a l t h · n r · · D&A ， Yubo Ji 2 © Siemens Healthineers, 2024 Topic 1 大语言模型 LLM © Siemens Healthineers Healthineers, 2024&AYubo Ji 8*22B Gemma LLAMA 3 Grok-1 国产语言大模型 开源闭源混合 仅开源 仅闭源 开源闭源混合 仅开源 仅闭源 LLM 的发展之 路 s EMENS: H a l t h · n r · · 国外语言大模型 DB©RSXiemens Healthineers, 2024 里 程 碑 临床文档生成 ( 如电子病例， 临床笔记， EHR) 获取临床洞见， 辅助诊断 报告规范化， 术语归一化 智能随访 出院小结生成

预训练大模型 （学习共性） 大数据（低成本无标注） 少量特定领域标注数据 （成本高） 微调小模型 （学习特性） ⑤ 数 基 生 命 1.模型角度：模型参数不再是随机初始化，而是通过一些任务（如语言模型）进行预训练； 2.数据角度：将训练任务拆解成共性学习和特性学习两个步骤。 CHIMA 20Pag2 Tsinghua Confidential | lvhairong@tsinghua.edu 用 ⑤ 数 基 生 命 ② 剖 析 大 模 型 ① 关 于 预 训 练  两类典型的大语言模型  BERT ： Bidirectional Encoder Representations from Transformers  双向模型，同时考虑前文和后文  采用掩码语言模型（ masked language model ）和下一句 预测任务 （ next sentence lvhairong@tsinghua.edu.cn BERT 训 练 ③ 精 准 可 解 释 ④ 医 疗 应 用 ⑤ 数 基 生 命 ② 剖 析 大 模 型 ① 关 于 预 训 练 BERT 主要采用掩码语言模型（ masked language model ，对应图 Mask LM ）和下一句预测任务（ next sentence prediction ，对应图 NSP ）进行预训练，使得模型能够学习到上下文关系和词汇语义。预训练好的

不同任务训练不同的模型，泛化 能力差 生成式 AI 2020- 硬件、算法、大数据全面突破 对话机器人 算法框架： Transformer 大规模无 监督预训练 多任务、多模态统一处理 自然语言理解、世界知识记忆、 逻辑推理 人工智能时代推动检验技术的发展 大数据 人工智能 物联网 云计算 自动化图像识别 高通量数据处理 检测智能化与自动化 个性化医疗 多指标联合分析 / 模型优化：性能最优模型进行指标优化  外部验证：独立数据进行模型验证 AI 生物标志物研究举例之自身免疫 病 AI 生物标志物科研成果的临床应 用 AI 生物标志物从 IDEA 到 APPLY 大语言模型的发展历程 Deepseek 横空出世 2023 年 7 月 DeepSeek 成立 2024 年 5 月 宣布开源第二代 MoE 大 模型 DeepSeekV2 2024 年 11 系统已接入，免输入一键结 果解读；  Deepseek 、 QWQ 多模型选择。 报告单解读 标准化操作流程查询  大语言模型专业化 （ LLMSpecialization ）；  标准化、流程化、数字 化、 AI 化。  忠于原文语义与结构；  注重语言的美学表达。 文献翻译 / 解 读  为医护打造的检验科 RAG ；  降低不合格标本比例；  医检沟通的好伙伴。

Stable Diffusion、 GPT-4、Med-PaLM 等大模型，国内如文心系列大模型、华为盘古大模型、星火认知大 模型、MOSS 大模型等。从研究方向上来看，大模型研究主要集中在自然语言处理 （Natural Language Processing，NLP）、计算机视觉（Computer Vision，CV）、多模 态三大领域。从内容形式上来看，如 DALLE-2 模型可以将文本转为图像；Dreamfusion 大模型构建流程分为：预训练、微调、奖励模型、强化学习四个阶段。预训练即 利用海量的训练数据和无监督学习的方法学习到通用的特征或知识，并将这些特征或 知识迁移到其他任务上，用于增强模型的泛化能力和表现。微调是指在已有的预训练 语言模型基础上，然后在新的数据集上进行少量的训练，使得模型能够更好地适应新 的任务或领域。提示调优（Prompt-tuning）、指令调优（Instruction-tuning）[7]和前缀调 优（ Learning）阶段根据用户给出的提示词结合奖励 模型，将对结果与语言模型建模目标进行综合，进而得到更好的输出效果。表 1 展示 了部分主流大模型的构建情况。 表 1 部分主流大模型的构建情况 模型名称 发布时间 模型参数量 基础模型 模型类型 预训练数据量 T5[8] 2019 年 10 月 110 亿 Transformer 语言模型 1 万亿 Token GPT-3[9] 2020 年 6

下一步推进应用思路 06 DeepSeek 应用注意问题 DeepSeek 是什么？ 01 DESIGN DeepSeek 是一款生成式人工智能大模型 ， 它能够理解 “ 听懂”人类语言 ， 并能够像人类一样 分析问题 ，寻找思路 ， 并给出答案（解决方案） ； 它是一位 “过目不忘”的全能型老师 ，（通过 训 练） 掌握了人类各个方面的知识 ，免费解答你各种问题； 它还是一位 ... ） 语言是知识的载体 ，也是人类沟通的桥梁 ，理解了人类语言 ，就能理解各类知识 ，能 跟人沟通。 因此自然语言处理是人工智能皇冠上的明珠 ，大语言模型就是基于深度学习技术 的自然语言处理工具 ，通过海量数据训练实现对人类语言的理解、生成和推理能力。 了解生成式人工智能（ AI GC ） 的工作原理 我们所说的大模型其实是人工智能大语言模型， 它生成内容的过程就像是一场词语接龙游戏： 联网搜索模式（ REG ） 通用模型 （ V3 ） 在传统的大语言模型基础 上 ， 强化推理 、 逻辑分析 和决策能力的模型。 =V3 + 数理逻辑思维 数学推导、 逻辑分析、 复杂问题拆 解 适用于大多数任务， 侧 重于语言生成 、 上下文 理解和自然语言处 理 。 ——“文科生” 文本生成、 创意写作、 问答对 话 能够联网搜索最新消息

性，推动医疗服务质量的提升，保障患者的治疗安全。 1.3 AI 技术的发展及应用前景 近年来，人工智能（AI）技术在医疗行业的迅猛发展，标志着 医学服务模式的重大变革。AI 技术特别是在自然语言处理 （NLP）、图像识别、数据挖掘和机器学习等方面的飞速进步，为 医疗数据的处理和分析提供了强有力的工具。在中医院门诊病历自 动生成的应用中，AI 能够通过对症状、病历记录及临床数据的深度 大潜力。特别是在中医领域，很多实用的经验和知识系统化程度不 高，AI 可以帮助整合这些信息，使得门诊病历的生成过程更加科学 和系统。 AI 技术的应用前景广泛，尤其是在以下几个方面：  智能问诊：通过构建智能问诊系统，利用自然语言处理技术， 患者可以直接通过对话界面描述症状，系统则能根据已有病历 和知识库自动生成初步诊断，并指导患者选择合适的就医路 径。  病历文书智能生成：基于患者的信息及病历资料，AI 可以自 据训练和深度学习算法，能够在各种复杂任务中展现出强大的理解 和生成能力。其核心在于通过深度神经网络架构，尤其是 Transformer 模型，处理和分析文本、图像和音频信息。这些模型 在自然语言处理、计算机视觉以及其他领域中已经展现出超越传统 方法的性能。 以 OpenAI 的 GPT-3 和 Google 的 BERT 为代表，这些模型具 有多层次的自注意力机制，使得它们能够理解语境、生成连贯的文