..........................................................................................60 5. 模型训练与优化................................................................................................ .68 5.2 训练过程......................................................................................................................................................................70 5.2.1 训练数据集构建.... ....................................................................................194 13.2.2 模型再训练...................................................................................................

3.2.1 数据处理层设计.........................................................................40 3.2.2 大模型训练层设计......................................................................42 3.2.3 应用服务层设计......... ....51 3.3.3 数据安全与隐私保护..................................................................53 4. 大模型训练与优化......................................................................................55 4.1 大模型选型与配置 大模型选型与配置..............................................................................56 4.2 训练数据集构建..................................................................................58 4.2.1 数据源选择....

，模型参数规模达到了 1750 亿 2023 年 3 月发布的 GPT-4 的参数规模是 GPT-3 的 10 倍以上 ，达到 1.8 万亿 1.1 大模型的概 念 训练数据量大 计算资源需求高 参数数量庞大 大模型的设计和训练旨在提供更强大、 更准确的模型性能 ， 以应对更复杂、 更庞大的数据集或任务。 大模型通常能够学习 到 更细微的模式和规律 ，具有更强的泛化能力和表达能力 学习能力强 ，能够理解更复杂的语意和语 境 。这使得它们能够产生更准确、 更连贯的回答 可迁移性高 学习到的知识和能力可以在不同 的任务和领域中迁移和应用 。 这 意味着一次训练就可以将模 型应 用于多种任务，无需重新 训练 语言生成能力 大模型可以生成更自然 、更流 利 的语言，减少了生成输出时呈现 的错误或令人困惑的问题 1.1 大模型的概 念 1.2 大模型的发展历 程 大模型发展历经三个阶段 ，深度学习可以采用不同的模型 ， 其中一种模型是预训练模型 ，预训 练模型包含了预训练大模型（可以简称为“大模型”） ，预训练大模型包含了预训练大语言模型（可以简称为“大语言模 型”） ，预训练大语言模型的典型代表包括 OpenAI 的 GPT 和百度的文心 ERNIE ， ChatGPT 是基于 GPT 开发的大模型产 品， 预训练大模型 预训练 大语言模型 预训练大语言模型 GPT 文 心

......41 4.3 模型训练与优化.......................................................................................................................................................43 4.3.1 训练数据准备............ DeepSeek 模型在实际政务场景中的 部署方案与技术路径。包括数据采集与预处理、模型训练与优化、 系统集成与运维等关键环节。为确保方案的可行性，将提供详细的 技术实施步骤与风险评估，并结合实际数据支持的效率提升预期：  数据采集：通过多源数据融合技术，确保数据的全面性与时效 性。  模型训练：采用分布式计算框架，提升训练效率与模型精度。  系统集成：与现有政务系统无缝对接，降低实施成本与复杂 模型部署是接入方案的核心环节。DeepSeek 模型需部署在具 备高性能计算能力的硬件环境中，推荐采用 GPU 加速的服务器集 群或云计算平台（如 AWS、Azure、AliCloud）。模型训练阶段， 可利用城市治理的历史数据进行离线训练，并通过交叉验证和误差 分析优化模型参数。在线推理阶段，需设计高效的接口层（如 RESTful API 或 gRPC），实现模型与业务系统的无缝对接。为确保 模型的实时性和稳定性，可采用容器化技术（如

大规模深度学习模型 large-scale deep learning model 基于大量数据训练得到,具有复杂计算架构,能处理复杂任务,且具备一定泛化性的深度学习模型。 注：大模型的参数有其功能和模态决定，一般不低于1亿规模。大模型训练使用的数据总量受参数 量的影响，达到收敛的大模型的参数量的对数与其训练数据总量的对数成正比。 [来源：GB/T 45288.1—2025，3.1] T/ISC 型开发定制服务、大模型推理及运营服务。 [来源：GB/T 45288.1—2025，3.2] 3.5 微调 fine-tuning 为提升机器学习模型预测准确性,使用专门领域数据在大模型上继续训练的过程。 注1:专门领域数据一般是特定场景的生产数据或合成数据。 注2:常用的微调方法包括提示词微调、全参微调、参数高效微调等。 [来源:GB/T41867—2022,3.2. 31,有修改] 3 用于支撑大模型开发、定制及应用的软件集合。 [来源：GB/T 45288.3-2025，3.3] 3.8 政务大模型 Government Large-Scale Model 政务大模型是指基于大规模数据训练和深度学习算法构建，专为政务领域设计的人工智能模型，具 备强大的语义分析、信息处理及预测能力，旨在提升政府决策效率和服务质量，优化政务流程，并实现 政务服务的智能化与精准化。 4 符号和缩略语

数据显示，2022 年中国人工智能政府行业应用渗透度为 52%，仅次 于互联网行业（83%）和金融行业（62%）。1据国家发展改革委官方 披露，我国政府数据资源占全国数据资源的比重超过 3/4，将为大模 型训练和持续更迭提供丰富的基础燃料。2另一方面，随着数字政府 建设深入，政务服务的普惠化便利化水平不断提升，线上线下服务量 随之激增，迫切需要运用新的技术手段解决政府回应能力不足问题。 以 12345 数据处理等方面做出统筹安排，以提升政府对新技术的集成应用能力。 日本数字厅与微软合作，在政府数据中心设置 AI 大模型产品使用的 高处理能力设备，以处理政府机密信息；新加坡设置 AI 创新沙盒， 为公共部门提供预训练的生成式人工智能模型和初级代码开发工具。 部分大模型厂商适应政府集成应用需要，提供面向政府侧的定制化服 务能力。微软先后和美国、日本政府达成合作，向其提供通过微软 Azure 智能云平台调用 ChatGPT 涉及国家安全、国 家科技创新实力 等方面的应用 国防安全 美国国防部 航空航天 美国国家航空航天局 来源：根据公开资料整理 1. 辅助政府内部办公 一是辅助知识检索与收集。基于庞大的训练数据，大模型可根据 提示瞬间收集大量信息，深度学习算法还可使大模型对信息进行分类 和聚类，实现对分散信息的组织和总结，为公务人员提供匹配度高、 整合度高的信息，成为公务员的“智能问询助手”。具体来看，公务

息，为政策制定提供数据支撑。例如，基于 AI 的预测模型可准确 评估政策实施效果，辅助制定更精准的民生服务策略。 为确保技术落地的可持续性和可扩展性，项目还将构建完善的 AI 模型训练和更新机制。通过建立标准化的数据集、训练环境和评 估体系，保障 AI 模型的性能始终处于行业领先水平。同时，平台 将支持多场景、多领域的模型适配，确保技术能够快速响应未来政 务服务的多样化需求。 最后，项目将注重用户隐私保护和数据安全。在 础平台，支持多模态数据处理，包括文本、语音、图像等类型。其 次，开发基于 AI 大模型的核心应用模块，如智能问答、文档自动 生成、数据分析和预测等功能，全面提升政务服务效率和用户体 验。再次，搭建完整的 AI 模型训练、部署和运维体系，确保模型 的高效运行和持续优化。项目还将涉及与现有政务系统的无缝对 接，确保数据安全和隐私保护，并制定相应的技术标准和操作规 范。具体实施范围包括：  数据整合与治理：建立统一的数据标准和治理机制，确保数据 数据需求。具体而言，平台应具备每天处理至少 1000 万条政务数 据的能力，并能够在秒级内完成数据的实时分析与反馈。 其次，AI 大模型的接入要求平台具备高性能的计算资源。建议 采用分布式计算架构，支持多节点并行处理，以确保模型训练和推 理的高效运行。以下是对计算资源的具体需求： - CPU 核心数：至 少 1000 核 - GPU 数量：不低于 200 块，型号需支持高性能深度学 习运算 - 内存容量：总内存不低于

79 4.1.2 非结构化数据处理.....................................................................81 4.2 数据标注与训练..................................................................................82 4.2.1 标注规范制定. ETL 工具进行数据清洗与归一化处理，确保输入 质量。 智能处理层部署 DeepSeek 核心模型，针对政务场景进行垂直 优化： - 模型微调：基于政务语料（政策文件、办事指南等）进行领域适 配训练，提升专业术语理解能力 - 多任务处理：同步集成意图识别（准确率≥92%）、实体抽取 （F1 值≥0.89）和语义匹配模块 - 知识增强：绑定政务知识图谱（平均节点规模 50 万+），实现法 场 景下的高精度意图识别与语义解析。该模块采用多层级处理架构， 首先通过领域自适应预训练模型对用户输入进行语义编码，再结合 业务规则引擎完成结构化输出。具体实现包含以下关键技术点： 1. 语义编码层 基于 DeepSeek-V3 模型构建政务领域微调版本，通过 20 万 条政务对话数据进行增量训练。关键改进包括： o 注入政务术语知识库（覆盖 1.2 万条政策术语） o 优化长文本处理能力（支持最大

撰写会议致辞 预训练大模型技术加速迭代，全球各国积极尝试将大模型应用于政务领 域 自从 Google 提出 Transformer 大语言模型、使“千亿参数”模型成为现实后 ，以 ChatGPT 为代表的基于大模型底座开发的 AIGC 应 用 出现 ，引发了人工智能与传统行业融合的新一轮热潮。近期， LLaMa 模型的开源有效降低了模型开发技术难度和开发成本 ， 使开发 者可以基于预训练大模型底座进行微调构建行业垂类模型 确保数据安全 广泛场景定制化能力 依托预训练通用大模 型底座进行微调 ，所 需参数规模较低 ，训 练周期较短 支持离线部署和 升 级 ， 可有效保证 数 据安全性 ， 满足 行 业监管要求 通过在通用大模型底 座引入行业特征数据， 实现垂类大模型开发 依托通用大模型，结合行业专有数据进行训练及微调的各类行 业大模型加速落地 2017 Google Transformer 模型成为加速大模型落地的关键 克服传统 RNN （递归神经网络）模型和 CNN （卷积神将网络）模型在自然语言 处理过程中的局限性 ，模型训练所需数据集和参数规模显著扩大 政务行业大模型发展驱动：技术普及 来源：公开资料整理、专家访谈、艾瑞咨询研究院自主研究及绘制。

撰写会议致辞 预训练大模型技术加速迭代，全球各国积极尝试将大模型应用于政务领 域 自从 Google 提出 Transformer 大语言模型、使“千亿参数”模型成为现实后 ，以 ChatGPT 为代表的基于大模型底座开发的 AIGC 应 用 出现 ，引发了人工智能与传统行业融合的新一轮热潮。近期， LLaMa 模型的开源有效降低了模型开发技术难度和开发成本 ， 使开发 者可以基于预训练大模型底座进行微调构建行业垂类模型 确保数据安全 广泛场景定制化能力 依托预训练通用大模 型底座进行微调 ，所 需参数规模较低 ，训 练周期较短 支持离线部署和 升 级 ， 可有效保证 数 据安全性 ， 满足 行 业监管要求 通过在通用大模型底 座引入行业特征数据， 实现垂类大模型开发 依托通用大模型，结合行业专有数据进行训练及微调的各类行 业大模型加速落地 2017 Google Transformer 模型成为加速大模型落地的关键 克服传统 RNN （递归神经网络）模型和 CNN （卷积神将网络）模型在自然语言 处理过程中的局限性 ，模型训练所需数据集和参数规模显著扩大 政务行业大模型发展驱动：技术普及 来源：公开资料整理、专家访谈、艾瑞咨询研究院自主研究及绘制。