合描述蛋白质序列。在 AlphaFold2中，每个氨基酸被视为一个单词，一串氨基酸序列就构成了一句 “话”。通过Transformer模型，AlphaFold2能够理解蛋白质序列中的“语境”，进 而预测出蛋白质的三维结构。 AlphaFold2的输入主要为蛋白质序列的多序列比对(MSA)结果，MSA的构 建方式是将输入的蛋白质序列与蛋白质数据库中的序列进行多比对，提取出与输 入序列相似的所有序 入序列相似的所有序列，并构建为一个矩阵。这种比对基于这样一个假设：序列 的相似性表示它们具有共同的进化起源。多序列比对可以帮助确定多物种保守的 序列区域，这些区域在进化过程中保持不变，可能是因为它们对生物有重要的功 能。AlphaFold2通过MSA来提取出蛋白质序列的进化信息，此外，如果在MSA 中的多个序列中观察到两个位置的氨基酸同时变化，那么这可能暗示这两个氨基 酸在蛋白质的空间结构中是相互接近的。Alpha ESMfold。 ESMfold放弃了MSA的构建步骤，而是采用了使用一个蛋白质大语言模型 ESM2，来对氨基酸之间的相互作用模式进行表征。ESM2同样基于 Transformer架构，可以针对输入的蛋白质序列直接提取出其包含进化信息 embedding。该embedding可以直接输入类似AlphaFold的Evoformer中。 这种端到端的计算方法，使得ESMfold的推理速度比AlphaFold2快了一个数量

2020 年物联网设备超过非物联网设备 │ ©202 四维纵 横 Confidential 1 什么是时序数据 • 时序数据是时间序列数据，即带有时间戳的数据序列。这个序列中的—个数据也成为数据点 （ data point ）， —个数据点通常是—个（ timestamp ， value ）对。 t i m e s e r i e s (tsN,vN) │ ©202 四维纵横 Confidential 1 什么是时序数据 • 可以有很多时间序列，每个时间序列有自己的节奏。 timeseries1 (ts1,v1) (ts2 (ts1,v1) (ts2,v2) (ts3,v3) (ts1,v1) (ts2,v2) (ts3,v3) 什么是时序数据 • 时间序列都是 (ts,val) 序列，那么如何区分不同的时间线？不同时间线会有不同的静态属性，通过静 态属性可以区分时间线。 . . (tsN,vN) (tsK,vK) Confidential

供应商数据 • 产品质量 • 服务信息 • 信用数据 • 位置数据 • 渠道依赖 • 原料来源 • Web 信息 • 业务信息 • 行为信息 机器数据 • 多种类型 • 时间序列 • 数据真实 • 数据海量 • 并发较高 控制数据 • 数据多样 • 时间戳 • 程序数据 • 结果数据 人员数据 • 基本信息 • 行为信息 物料数据 • 基本信息 • 供应商数据 • 产品质量 • 服务信息 • 信用数据 • 位置数据 • 渠道依赖 • 原料来源 • Web 信息 • 业务信息 • 行为信息 机器数据 • 多种类型 • 时间序列 • 数据真实 • 数据海量 • 并发较高 控制数据 • 数据多样 • 时间戳 • 程序数据 • 结果数据 人员数据 • 基本信息 • 行为信息 物料数据 • 基本信息 • 析，了解故障前序发生的事件，了解前序事件与故障的 关系。 异常检测 预测与优化 生产过程优化 异常检测 设备预测性维修 人机协同 质量提升  时间序列 将采集到的底层设备数据进行时间序列分析，生成时间 序列数据图形，将图像特征按时间段进行观察。  聚类分析 对建模后时间序列数据的按照时间端特征进行提取并聚 类，聚类的结果对应到采集到的生产国产数据。  关联分析 对于不同分类数据的相关性，通过拉长时间轴的长度进

流的多样性灵活性，另一 方面也在于它们只能拟合数据而无法捕捉概念。然而，随着深度学习的提出，人工智能模型所能表达的内容 越来越不局限于整理好的表格数据，而开始掌握复杂序列当中的规律。例如在生物学中，蛋白质的结构和基 因序列已经能通过深度学习进行捕捉。因此在这些学科，深度学习成为了创新的工具（Method of Innovation） (Agrawal et al., 2018)。他们在已有 动化的实验验证，可以极大提高知识生产的效率。 生成式人工智能，尤其是大语言模型的出现，极大拓展了人工智能在社会科学中的应用场景 (Bail, 2024; Korinek, 2023)。大语言模型实质上也是一种序列模型，只不过它处理的是语言。然而，恰恰就是因为它捕捉 了语言的含义，使得它第一次有可能对社会科学的研究流程产生全面的影响。社会科学高度依赖自然语言：自 然语言描述了人类的行为，也是社会科学家沟通 对语言序列的概率建模。具体来说， 语言模型通过学习大量文本数据，掌握词语之间的统计规律和语义关系，从而能够生成符合语言规则的文本。 语言是一种时间序列 语言可以被视为一种时间序列，由一系列词元（Token）组成。词元可以是字母、标点 符号、数字或汉字等。例如，一个英文单词是一个词元，一个汉字也可以是一个词元，一串数字也可以是一个 词元。词元是语言的基本单位，通过将语言分解为词元序列，可以更方便地进行数学建模和计算。进而，一个

Statista，2021 年全球制药行业总收入约 1.5 万亿美金，制药研发投入 约 2.4 千亿美金。DeepMind 是最早用 AI 赋能新药开发的企业之一，其推出 的 AlphaFold 主要解决从已知的氨基酸序列，预测相应蛋白质 3D 结构的问 题，为探索生命的起源迈出重要的一步。随着生成式 AI 的出现，业内开始 探索自动根据功能需求设计/优化蛋白质、给定抗原等目标蛋白生成抗体等 蛋白、给定靶点一键生成 Binder Biosciences 和加州大学研究团队发布的蛋白质语言模型 ProGen，在数百万个原始蛋白质序列上训练，可生成跨多个家族和功能的人造蛋白质。不 同于 AlphaFold2 利用 AI 的手段辅助理解自然界已有的蛋白结构，以 ProGen 为例的类 ChatGPT 生成式 AI 的目标是生成自然界不存在的人工蛋白质序列。虽然生成式 AI 在制药 领域的应用仍处于起步阶段，但天壤 XLab 负责人苗洪江博士认为，从 晶泰科技通过无标记的蛋白质序列数据（约 2.8 亿条）+抗体序列数据训练出的 ProteinGPT 可以一键生成符合要求的蛋白药物，应用案例包括：1）根据给定的靶点一键生成 Binder 蛋白；2）根据指定要求一键生成抗体文库；3）对性质欠佳的抗体进行改造，一键生成优 化后的抗体。 AlphaFold2 生成式AI 蛋白质结构预测：基于氨基酸序列，预测已知基因序 列的蛋白

车辆实验所 常规供应商 研发数据 物流公司 经销商 整车装配线 整车存放场 销售公司 发动机工厂 生产计划解决方案 生产排单解决方案 生产报工解决方案 生产配送解决方案 生产 VIN/ 序列号解决方案 成本标准定额解决方案、成本核算与差异解决方案、研发费用专项核算解决方案 XX 行业化需求与方案：需要端到端的业务价值链管理应用（最佳业务实践） 销售预测、订单确认解决方案 实物配送 接收销售计划 PMC/ 报表 SAP 与 MES 的整合集成： 一期对接条码与车间平台，二期规划完整对 接 装配 零件 线中检 人员效率、 UPPH 等报表 发动机等关 重件序列号 强关联 总装上线 整车 VIN 生成 产品不良记录 产品维修记录 产品基本信息 FTT 缺陷统计报表 计划报表 质量报表 生产报表 缺陷 TOPN PMC 产线看板 PMC ，执行可用性 检查 ，管理生产周期及交付信息 > 跟踪销售订单全生产流程的进程状态 ，订单中各车型可 按车架号查询 BOM 及所生产的详细订单信息 > 销售发货管理计划交货日期的确定、序列号以及产品的 拣配及发运 ，并支持多个销售订单的合并发货 > 销售发票管理实现及时发票 / 周期性发票 ，并提供待开 发票清单 > 订单执行、售后服务等业务与 CRM 的全方位集成

Layer Nom 序列处理 高效并行 模态扩展√ lon iugar DY peratiam u 背景 1—— 人工智能的概念及发 展 多 层 感 知 机 卷 积 神 经 网 络 流程更新。 多模态数据构建 16/37 电力图像编码器 分块 线性映射层 统一的特征序列 电力文本编码器 预定义词表 …“ 绝缘” :20822 ….“ 由” :30265. ..“ 组成” :62034 ... 电力视频编码器 图像编码器 □□[ 统一的特征序列 电气信号编码器 =2+ 8205 7 73M 4 、模型构建：多模态编码器——特征对 齐 原始文本 绝缘子是由绝缘材料、金属 固定件和接地装置组成的 按照词表对应 □□□□ [20822,…,30265,…,62034| 将不同模态数据转化为统 一 的序列形式，映射至同 一 个特征空间内 向 量 映 射 层 {(x₁,y₁),(x₂,y₂),…., (xn,yn)} 采 样 模 块 文 本 编 码 器 统

使用基于 Trans- former 体素编码器得到体素特征, 而自然语言则通 过 CLIP 的语言编码器转化为语言特征, 随后体素 特征一起输入至 Perceiver Transformer, 最后输出 序列经过解码器处理, 恢复到原始体素网格的维度, 并用于预测离散化的行动动作. 通过对场景进行三 维体素化, 并使用编码器进行场景、语言的特征提 取, PerAct 能够有效地对环境进行建模, 获取全局 考虑对同一物体执行不同任务时对应的关键点相似 但动作可能截然不同, KITE 使用大语言模型从指 令中提取任务类型 (如抓取、放置、开启、关闭), 并 将锚定模块所得关键点与任务类型输入至动作生成 模块中, 得到完成整个任务所需的动作序列. 实验 表明, 相比于依赖预训练视觉语言模型或仅采用端 到端视觉运动控制而忽视技能模块的方法, KITE 在演示数据较少或相当的情况下训练效果更优. CoPa[96] 通过部件空间约束实现通用机器人操 通过语言提示使视 觉语言生成相应的空间几何约束. 获取操作约束之 后, CoPa 计算出抓取后的一系列目标姿态, 并将目 标姿态规划形式化为一个受约束的优化问题, 从而 得出符合物理规律且能精准执行的连续动作序列. Robo-ABC[98] 则通过从人类视频中提取物体的 交互经验, 并存储为可供性的经验, 当面对新物体 时, 机器人通过检索记忆中视觉或语义上相似的物 体来获得可供性, 并利用预训练的扩散模型将检索

的增大，参数空 间呈指数增长 神经语言模型 （ NLM ） Seq2Seq 建模 基于循环神经网络 RNN 描述 单 词序列的概率 • 优点：通过词嵌入和隐 藏层，上下文捕捉和泛 化能力较强； • 缺点：计算复杂度高， 面对长文本序列仍会有 “灾难性遗忘”问题 基于 Transformer 架构的语言模型 • 优点： 长距离依赖处理能力强：自注意力机制能捕捉任 注意力 Attention 自注意力机制：使序列中的每个单词都能 “关注 ”其他单词 ，包括自己 在内 ， 以更好地理解上下文。（通过计算输入序列中每个位置与其他位置之间 的注意力权重 ，得到加权的位置向量作为输出） 多头注意力机制：多个独立计算的自注意力机制 ，将相同的输入映射到 不同的空间中进行上下文理解 ，使得模型获得了对输入序列有更细致透视 ， 丰 富了其表示 ，带有多样化的上下文信息。 ，没有考 虑 词 的 排 序 和 位 置信 息 ， 所 以 通 过 positional encoding 来 衡 量 word 位置信息 前馈网络 Feed Forward 捕捉序列中元素之间复杂关系的多功能组件。通过使用线性变换和非线性激活 函数，前馈网络使模型能够处理复杂语义，促进文本的稳健理解和生成。 Google (2017): Attention is all