工业大模型应用报告

微信扫码，打开到小程序

· 2024 年 3 月 参 参与单位 腾讯研究院 中国通信工业协会物联网应用分会 毕马威企业咨询（中国）有限公司 腾讯云智慧行业五部 指导单位：中国通信工业协会 撰写单位： 1 工业大模型应用报告 目 录 1. 大模型为工业智能化发展带来新机遇 .............................................................................................1 1.1. 大模型开启人工智能应用新时代 ................................................................................................................... 1 1.2. 大模型有望成为驱动工业智能化的引擎 ...................................................................................................... 3 1.3. 大模型应用落地需要深度适配工业场景 ...................................................................................................... 4 2. 大模型和小模型在工业领域将长期并存且分别呈现 U 型和倒 U 型分布态势 .....................................6 2.1. 以判别式 AI 为主的小模型应用呈现倒 U 型分布 ..................................................................................... 6 2.2. 以生成式 AI 为主的大模型应用呈现 U 型分布 .......................................................................................... 7 2.3. 大模型与小模型将长期共存并相互融合 ...................................................................................................... 9 3. 工业大模型应用的三种构建模式 ................................................................................................. 11 3.1. 模式一：预训练工业大模型 ......................................................................................................................... 11 3.2. 模式二：微调 .................................................................................................................................................... 12 3.3. 模式三：检索增强生成 .................................................................................................................................. 13 3.4. 三种模式综合应用推动工业大模型落地 ................................................................................................... 14 4. 大模型应用探索覆盖工业全链条 ................................................................................................. 16 4.1. 大模型通过优化设计过程提高研发效率 ................................................................................................... 16 4.2. 大模型拓展生产制造智能化应用的边界 ................................................................................................... 19 4.3. 大模型基于助手模式提升经营管理水平 ................................................................................................... 23 4.4. 大模型基于交互能力推动产品和服务智能化 .......................................................................................... 25 5. 工业大模型的挑战与展望 ............................................................................................................ 28 5.1. 工业大模型应用面临数据质量和安全、可靠性、成本三大挑战 ...................................................... 28 5.2. 工业大模型应用将伴随技术演进持续加速和深化 ................................................................................. 30 1 工业大模型应用报告 1. 大模型为工业智能化发展带来新机遇 1.1. 大模型开启人工智能应用新时代 大模型引领人工智能技术创新和应用。自 1956 年达特茅斯会议（Dartmouth Conference）提出人工智能的概念以来，人工智能技术经历了多个发展高峰和低谷。在 这一长期的发展过程中，人工智能技术不断演进，逐步朝着更高的智能水平和适应性 发展。2022 年 11 月 30 日，OpenAI 发布了 ChatGPT，引发了行业热潮，直至今日，业 界普遍认为，大模型时代已经到来，也象征着人工智能开启了迈向通用人工智能 （AGI, Artificial General Intelligence）的新阶段。在大模型出现之前，人工智能通常需 要针对特定的任务和场景设计专门的算法，这种方法虽然在特定领域有效，但人们对 “智能”的期望是能够适应多种任务和场景的智能系统，单一任务的人工智能系统已经 无法满足这些更广泛的需求。大模型能够跨越传统人工智能的局限性，理解和推理的 能力有了极大的飞跃，同时也提高了复用的效率，为人工智能技术在更多领域的应用 提供了坚实的基础，推动人类社会迈向通用人工智能（AGI）的新阶段。 通用性和复用性是大模型的关键价值。2017 年，Google Brain（谷歌大脑）团队在 其论文《Attention Is All You Need》中创造性地提出 Transformer 架构，凭借注意力机 制，极大地改善了机器学习模型处理序列数据的能力，尤其是在自然语言处理（NLP） 领域。Transformer 架构的出现，为后续的大模型如 ChatGPT 等奠定了技术基础。 ChatGPT、Bert 等大模型通过海量数据和庞大的计算资源支持，使得模型具备了强大的 通用性和复用性。大模型可以被广泛应用于自然语言处理、计算机视觉、语音识别等 领域的各种任务，能够为各种应用和开发人员提供共享的基础架构，并进一步通过微 调、零样本学习等方式，直接在一系列下游任务上使用，取得一定的性能表现，支持 不同行业、不同场景的应用构建。 2 工业大模型应用报告 大模型展现出三大基础特征。目前大模型并没有明确的定义，狭义上指大语言模 型，广义上则指包含了语言、声音、图像等多模态大模型。如李飞飞等人工智能学者 所指出，这些模型也可以被称为基础模型（Foundation Model）。我们认为，大模型主 要具备以下三大特征： 参数规模大：大模型的参数规模远大于传统深度学习模型。大模型发展呈现“规模 定律”（Scaling Law）特征，即：模型的性能与模型的规模、数据集大小和训练用的计 算量之间存在幂律关系，通俗而言就是“大力出奇迹”。不过“大”并没有一个绝对的标 准，而是一个相对概念。传统模型参数量通常在数万至数亿之间，大模型的参数量则 至少在亿级以上，并已发展到过万亿级的规模。如 OpenAI 的 GPT-1 到 GPT-3，参数量 从 1.1 亿大幅拉升到 1750 亿，GPT-4 非官方估计约达 1.8 万亿。 泛化能力强：大模型能够有效处理多种未见过的数据或新任务。基于注意力机制 （Attention），通过在大规模、多样化的无标注数据集上进行预训练，大模型能够学 习掌握丰富的通用知识和方法，从而在广泛的场景和任务中使用，例如文本生成、自 然语言理解、翻译、数学推导、逻辑推理和多轮对话等。大模型不需要、或者仅需少 量特定任务的数据样本，即可显著提高在新任务上的表现能力。如 Open AI 曾用 GPT- 4 参加了多种人类基准考试，结果显示其在多项考试中成绩都超过了大部分人类（80% 以上），包括法学、经济学、历史、数学、阅读和写作等。 支持多模态：大模型可以实现多种模态数据的高效处理。传统深度学习模型大多 只能处理单一数据类型（文本、语音或图像），大模型则可以通过扩展编/解码器、交 叉注意力（Cross-Attention）、迁移学习（Transfer learning）等方式，实现跨模态数据 的关联理解、检索和生成。多模态大模型（LMMs，Large Multimodal Models）能够提 供更加全面的认知能力和丰富的交互体验，拓宽 AI 处理复杂任务的应用范围，成为业 3 工业大模型应用报告 界探索迈向通用人工智能的重要路径之一。典型如 OpenAI 的 Sora 模型推出，掀起了全 球多模态大模型的发展新热潮。 1.2. 大模型有望成为驱动工业智能化的引擎 人工智能推动工业智能化发展进入新阶段。工业发展是一个逐步演进的过程，经 历了机械化、电气化、自动化、信息化的阶段后，当前正处于从数字化向智能化迈进 的阶段。每个阶段都是工业与各类创新技术的融合，对传统制造业进行升级和改造， 提高生产效率、降低成本、提升产品质量。当前阶段，工业领域积累了大量的数据、 基础能力和场景需求，为工业场景与人工智能技术的融合提供了基础条件。而人工智 能逐渐展现出类似人的理解和分析能力，这些能力与工业场景的融合，将智能化带入 到工业生产、运营、管理等领域，不断提升感知、认知和决策等多个环节，有望推动 工业发展走向“自适应、自决策、自执行”的智能化阶段。 大模型为工业智能化提供新动力。尽管人工智能在智能制造、工业 4.0、工业互联 网等方面有所应用，但这些应用往往受限于特定任务，难以实现跨领域、跨场景的融 合创新。过去，人工智能在工业的应用主要聚焦于如质量检测、预测性维护等单一功 能，这形成了人工智能应用上“一场景一训练一模型”的局限，尚未形成大规模的应用。 然而，大模型的崛起有望带来“基础模型+各类应用”的新范式。大模型凭借其卓越的理 解能力、生成能力和泛化能力，能够深度洞察工业领域的复杂问题，不仅可以理解并 处理海量的数据，还能从中挖掘出隐藏在数据背后的规律和趋势。此外，区别于传统 的人工智能模型只能根据已有数据进行预测和推断，大模型则能够生成新的知识和见 解。最后，大模型的泛化能力能够在更广泛的工业场景发挥作用。 大模型为工业智能化拓展新空间。人工智能在工业领域的应用，尽管已经取得了 一些显著的成果，但整体来看，其应用的普及率仍然处于相对较低的水平。据凯捷 4 工业大模型应用报告 （Capgemini）统计数据显示，即便是欧洲顶级的制造企业，其 AI应用的普及率也仅超 过 30%，而日本和美国制造企业的 AI 应用率分别达到了 30%和 28%。相较于这些发达 国家，中国制造企业 AI 普及率尚不足 11%，显示出这一领域巨大的发展潜力和广阔的 空间。相较于以往的小模型，大模型有望挖掘工业领域人工智能应用的新场景，提升 人工智能应用的普及率。例如在研发设计领域，大模型能够深度挖掘和分析海量数据， 为产品设计提供更为精准和创新的思路。在经营管理领域，大模型能够实现对生产流 程、供应链管理等各个环节的监控和智能优化，从而提升企业的运营效率和市场竞争 力。 1.3. 大模型应用落地需要深度适配工业场景 大模型的优势在于其强大的泛化能力，可以在不同的领域和任务上进行迁移学习， 而无需重新训练。但无法充分捕捉到某个行业或领域的特征和规律，也无法满足某些 特定的应用场景和需求，在真正融入行业的过程中，需要适配不同的工业场景，其核 心就是要解决以下三个问题。 不懂行业：大模型在处理特定行业任务时，往往表现出对行业知识、术语、规则 等的不理解，导致生成的解决方案与实际需求存在偏差，这主要是由于大模型在训练 过程中缺乏特定行业的数据和知识，难以覆盖各个行业的专业细节。这种行业知识的 匮乏使得大模型在应对工艺流程优化、设备故障预测等专业问题时有所缺陷，难以提 供精确、可靠的解决方案，无法满足工业现场的个性化要求。 不熟企业：当大模型接入企业系统时，往往难以全面理解企业的业务流程、数据 结构和运营模式，导致生成的解决方案与企业实际需求不匹配。每个企业都有其独特 的运营环境和业务需求，而大模型往往缺乏对企业特定环境的深入理解。此外，企业 内部的数据孤岛和碎片化的信息系统也增加了大模型理解企业环境的难度。这种不熟 5 工业大模型应用报告 企业的问题使得大模型难以真正融入企业的运营流程，无法平滑地嵌入到现有的各类 系统中。 存在幻觉：在某些情况下，大模型会产生与实际情况不符的错误输出，即“幻觉” 现象。这主要是由于模型在训练过程中受到了噪声数据、偏差样本等因素的影响，或 者由于模型的复杂性和数据维度过高导致过拟合。这种幻觉现象对工业领域的影响是 全方位的，无论是生产过程中的质量控制、设备维护，还是供应链管理、市场预测等 环节，错误的输出都可能导致严重的决策失误和经济损失。特别是在对安全性、可靠 性要求极高的工业场景中，如航空航天、核能等领域，幻觉现象可能带来灾难性的后 果。 6 工业大模型应用报告 2. 大模型和小模型在工业领域将长期并存且分别呈现 U 型和倒 U 型分布态势 从工业智能化的发展历程可以看出，在大模型出现之前，人工智能技术在工业领 域已有较多应用。在前期阶段，工业人工智能的应用主要是以专用的小模型为主，而 大模型开启了工业智能化的新阶段。结合两者不同的技术特点和应用能力，目前在工 业领域形成了不同的分布态势。 图表 1 生成式 AI（大模型）和判别式 AI（小模型）在工业主要领域分布情况 1 2.1. 以判别式 AI 为主的小模型应用呈现倒 U 型分布 根据中国信通院2对 507 个 AI 小模型应用案例的统计分析，这些应用主要集中在生 产制造领域，占比高达 57%，而在研发设计和经营管理领域的应用则相对较少。这种 分布呈现出明显的倒 U 型。 小模型的核心特点是学习输入与输出之间的关系。小模型通过学习数据中的条件 概率分布，即一个样本归属于特定类别的概率，再对新的场景进行判断、分析和预测。 它的优点是通常比大模型训练速度更快，而且可以产生更准确的预测结果，尤其适用 1 507 个小模型应用数据引用自中国信息通信研究院《工业智能白皮书（2022）》，99 个大模型应用数据由 本文编写组收集、整理、统计分析所得 2 中国信息通信研究院《工业智能白皮书（2022）》 7 工业大模型应用报告 于对特定任务进行快速优化和部署的场景。以工业质检领域为例，小模型能够从海量 的工业产品图片数据中，学习到产品的外观特征、质量标准和缺陷模式等关键信息。 当面对新的样本时，小模型能够迅速判断样本是否合格，从而实现对产品质量的快速 检测。同样在设备预测性维护方面，小模型通过对设备运行数据的分析，能够学习到 设备正常运行的模式和潜在的故障特征。一旦监测到异常情况，小模型能够及时发出 预警，提醒工作人员进行检修或维护。 小模型的能力更适合工业生产制造领域。首先，小模型能够基于有限数据支撑精 准的判别和决策，而生产过程需要针对不同场景进行精准的分析和决策，这两者间的 契合使得小模型在生产制造领域具有独特的优势。其次，生产制造过程对准确性和稳 定性有着极高的要求，任何微小的误差都可能导致产品质量下降或生产线停工。小模 型在训练过程中，能够针对具体场景进行精细化的调整和优化，从而确保模型的准确 性和稳定性，这使得小模型在生产制造领域的应用更为可靠和有效。最后，小模型在 成本投入方面相对较低，使得其在生产制造现场的应用更具经济性，并在有限的硬件 条件下，能够稳定运行。 小模型的定制化需求制约了其进一步渗透。尽管小模型在生产制造领域表现出色， 但其应用过程中也面临着一些挑战。以判别式 AI 为代表的小模型通常需要依靠个性化 的业务逻辑进行数据采集、模型训练与调优，往往只能处理单一维度的数据。这一过 程不仅消耗大量的算力和人力，而且训练后的模型往往无法在多行业通用。例如，工 业缺陷检测领域的视觉模型往往需要针对一个产品或者一个设备训练一个模型，产品 或设备不同，就要对模型进行重新训练，这种定制化的需求在一定程度上制约了小模 型在工业领域的进一步渗透。 2.2. 以生成式 AI 为主的大模型应用呈现 U 型分布 8 工业大模型应用报告 根据对 99 个工业大模型应用案例的统计分析，大模型在研发设计和经营管理领域