T5[8] 2019 年 10 月 110 亿 Transformer 语言模型 1 万亿 Token GPT-3[9] 2020 年 6 月 1750 亿 Transformer 语言模型 3000 亿 Token PanGu-α[10] 2021 年 4 月 2000 亿 Transformer 语言模型 1.1 万亿 Token CodeGen[11] 2022 年 3 月 161 亿 Transformer Token LLaMA[12] 2023 年 2 月 652 亿 Transformer 语言模型 1.4 万亿 Token MOSS 2023 年 2 月 160 亿 CodeGen 指令微调模型 7 千亿 GPT-4 2023 年 3 月 18000 亿 Transformer 语言模型 13 万亿 PanGu-Σ 2023 年 3 月 10850 亿 PanGu-α 语言模型 3290 亿 Token Transformer 指令微调模型 - 通义千问 2023 年 5 月 1850 亿 GPT-3 指令微调模型 45 万亿 星火认知 2023 年 5 月 - - 指令微调模型 - LLaMA2 2023 年 7 月 700 亿 Transformer 语言模型和指令 微调模型 2.0 万亿 Token 3 人工智能大模型在医疗领域的应用 3.1 人工智能大模型在医疗领域应用现状 bmr.202312

X86 服务器 ARM 服务器 省 / 市属医院 AI 服务与数据采集融合前置机 面向医疗健康行业人工智能 辅助诊断公共服务平台 医学科技创新平台 计算性能 1000 万亿次 / 秒， 加 速科研效率 转化医学科研平台 4000+ 万例次病历数据智 能 分 析 ，秒级查询 高性能基因组学分析平台 全基因组测序时间，从 24 小 时降低到 7 分钟 数字底座助力医学科研创新 AutoGenome AutoOmics 全球首个基因组自动建模工具 全新多组学 AutoML 框架 临床研究引擎 百亿级参数 百亿节点 / 万亿边 盘古医学 NLP 大模型 超大医疗知识图谱 · 临床研究 · 覆盖医学文本结构化，医学知识图谱， AI 临床辅助 决 策，临床标记物发现、风险预测等问题 松山湖运动健康实验室，打造专业平台，高效成果转化

统等任务带来了颠覆性的突破，也为计算机视觉（CV）领域的文生图等多模态任 务提供了新的思路。简单来说，大语言模型是一种可以理解给定的上下文，并根据 上下文做出回应的生成模型。大语言模型首先在一个包含数万亿单词的大型语料库 上进行预训练，训练的方式是通过给定的文本序列去预测下一个单词，从而得到基 础模型（base model），如GPT-3、PaLM、LLaMA等。然后，这些基础模型可以 进一步在特定

公司推出了 GPT-3, 模型参数规模达到了 1750 亿， 2023 年 3 月发布的 GPT-4 的参数规 模是 GPT- 3 的 10 倍以上，达到 1.8 万亿， 2021 年 11 月阿里推出的 M6 模型的参数量达 10 万亿 2.1 大模型的概念 大模型的设计和训练旨在提供更强大、更准确的模型性能，以应对更复杂、更庞大的数据集或任务。大模型通常 能够学习到更细微的模式和规律，具有更强的泛化能力和表达能力

要作用 可推动数字经济年均增长4.57%;每年为GDP增长贡献1.89%;带 动全要素生产率年均增长1.70% “十四五”期间累计带动数字经济产值 千兆光网每年创造经济价值 2.5万亿元 89.96万亿元 联邦环境局主席 德克 Dirk Messner • 研究表明，我们应该加大投资 扩展光纤网络 • 寻找气候（环境）友好的传播 渠道十分重要 全光网是碳排放最低、最环保的网络连接

中来辅助远程医疗。建议关注国内科大讯飞、 云知声等企业的进展。 AI+新药开发：根据功能需求设计/优化蛋白质，加速新药探索速度 根据 Statista，2021 年全球制药行业总收入约 1.5 万亿美金，制药研发投入 约 2.4 千亿美金。DeepMind 是最早用 AI 赋能新药开发的企业之一，其推出 的 AlphaFold 主要解决从已知的氨基酸序列，预测相应蛋白质 3D 结构的问 题，为

年非化石能源（含生物质发电）装机 ９．８ 亿千 ３８ 王志轩： 构建以新能源为主体的新型电力系统框架 图 ４ ２０００—２０２０ 年不同电源发电量及总发电量增速 瓦，占 ４５％，发电量 ７．６ 万亿千瓦，占比为 ３４％，分别提升了 ２１ 个百分点和 １６ 个百分点。 第四，与风电相比，太阳能发电大规模投入应用的起步时间晚了 ５ 年左右，目前风力和太 阳能发电量都有大幅度增长，虽然发电量占总发电量的比重约为

多模态生成 CHIMA 20Pag2 Tsinghua Confidential | lvhairong@tsinghua.edu.cn 2023 年第一季 度 OpenAI 提出 GPT-4 模型 百万亿级别参数量 GPT 训练过 程 ③ 精 准 可 解 释 ④ 医 疗 应 用 ⑤ 数 基 生 命 ② 剖 析 大 模 型 ① 关 于 预 训 练 Unsupervised Pre-training

2172.8 亿元，较上年增加 14.6%， 利润增加 22.9%；中成药生产营业收入 4922.4 亿元，较上年增加 6.5%，利润 较上年增长 6.4%。 反观医药工业整体增加值约 1.3 万亿元，同比下降约 4%；实现利润 4127.2 亿元，同比下降 16.2%。 此外，中药相关企业也在快速增加。截至目前我国拥有 226.3 万余家与中医 8.8 9.1 9.6 10.2 10

48。大模型训练依赖数百至数万 GPU/TPU 并行计算资源的深度协同，这种规模空前的算 力投入使超大规模参数模型成为现实。算力突破直接催生了模型容量的指数级增长，当参数规模从数十亿跃升 至数千亿或数万亿时，模型呈现出“涌现能力”——一种质的飞跃，使其能够处理复杂抽象任务的能力超越传 统模型的简单叠加预期。2025 年，DeepSeek 大模型横空出世，在获得高性能的同时极大地降低了模型训练 和 大模型的知识整合能力源于海量多样化训练数据。以 ChatGPT 为例，每一代的 GPT 在迭代升级的过程中训练 的数据量呈现爆炸式增长，GPT-3 训练数据量约为 3000 亿个 Tokens，而 GPT-4 训练数据量约为 13 万亿个 Tokens，在这样大规模的数据支撑下，GPT-4 在文本输入与输出方面已取得显著成果，还进一步增强了视觉与 听觉分析能力。正是大规模的训练参数为 GPT 模型赋能，使其可以存储繁杂的知识并理解人类的自然语言， 个月内完成原型开发。但也有不足，如开源 框架可能存在代码安全漏洞、二次开发深度不足可能导致功能同质化，等等。 截至 2025 年 7 月，通用大模型参数规模不断增大（如 GPT 4.5、Qwen3 参数达到万亿级），其上下文记忆能 力（如 Claude 4、Qwen3 支持百万级 Tokens 处理）、多模态理解能力（如 Gemini Ultra 实现跨模态无缝切 换）等与人类专家水平相当，性能大幅度