.......................................................................................79 4.2.2 模型微调策略................................................................................................. .86 5. 微调方案实施........................................................................................................................................................................89 5.1 微调目标设定.... ...........................................................................................94 5.2 微调方法选择...............................................................................................

意距离的依赖关系。 并行计算能力强： Transformer 架构支持并行计 算， 训练速度更快。 • 缺点：资源消耗大 上下文学习、指令微调、 扩展规律 (GPT3 、 GPT4…) 自然语言处理模型的演进 预训练语言模 型（ PLM ） “ 预训练 - 微调” 学习范式 （ BERT、 GPT） 大语言模型 （ LLM ） 注意力 Attention 自注意力机制：使序列中的每个单词都能 Richard Sutton （强化学习之父 ，阿尔 伯塔大学 教授， DeepMind 科学家） 折扣因子 监督微调 强化学习 图源自《 ReFT: Reasoning with Reinforced Fine-Tuning 》 DeepSeek-R1 ：监督微调 + 强化学习训练 高探索自由度 = 推理能力自我觉醒 （规则奖励 + 奖励模型） 纯强化学习训练 多阶段增强训练 R1-Zero 生成的 长思维链数据 综合性能 更强 R1 蒸馏 版 1.5B~32B 对 V3 模 型 监督 微调 混合数据 监督微调 60 万条 推理数据 模型蒸馏是一种将大型复杂模型（教师模型）的知识迁移到小型高效模型（学生模型）的模型压缩技术 ，其 核心目标是在保持模型性能的同时 ，显著降低模型的计算复杂度和存储需求

........ 1 3.4 大模型服务 large-scale model service ........................................... 2 3.5 微调 fine-tuning ............................................................... 2 3.6 提示词 prompt .... 1—2025，3.2] 3.5 微调 fine-tuning 为提升机器学习模型预测准确性,使用专门领域数据在大模型上继续训练的过程。 注1:专门领域数据一般是特定场景的生产数据或合成数据。 注2:常用的微调方法包括提示词微调、全参微调、参数高效微调等。 [来源:GB/T41867—2022,3.2. 31,有修改] 3.6 提示词 prompt 提示语 使用大模型进行微调或下游任务处理时,插入到输入样本中的指令或信息对象。 b) 应支持多种数据类型，支持excel、txt、json等多种格式数据导入，以及支持结构化数据、非 结构化文本、音视频等多模态数据接入，提供数据去重工具。 6.2.1.2 数据标注 a) 应支持微调语料标注能力，即对已有大规模通用语料库进行精细化标注，以满足特定任务或领 域的需求。标注结果应具备一致性和可靠性，遵循相应的标注规范； b) 应支持对齐语料标注能力，具备将不同来源、不同结构的文本进行整合和对齐的能力，形成一

· · 107 企微运维机器人· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 108 华农保险大模型微调效果· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 111 众安AIGC中台-众有灵犀· · · · · · · · · · /开源数据集、企业自有数据以及AI 合成数据。大模型训练和微调所需数据量快速增长，真实世界数据将在数年内被用尽。研 究机构Epoch估计，机器学习可能会在2026年前耗尽所有“高质量语言数据”。据Gartner 预测，2024年用于训练AI的数据中有60%将是合成数据。以Meta今年7月发布的 LLaMA3.1模型为例，监督微调环节的数据里有相当比例是合成数据，使用合成数据确实 带来了模型效果的提升。 带来了模型效果的提升。 （1）合成数据成有力补充 高质量的真实数据已逐渐无法满足大模型训练与精细微调的需要，这促使合成数据 作为真实数据的重要补充，在人工智能领域扮演着日益关键的角色。合成数据作为算法、 生成模型及模拟技术的产物，能够模仿现实世界数据的特征与模式，为大模型的训练与优 化提供丰富的数据资源。 以AlphaGeometry项目为例，该项目通过生成高达一亿个精准合成的数据点，为解决

预测模型（N-gram） • 优点：可解释、计算速 度快 • 缺点：从前向后单向计 算；单纯基于统计频次、 缺少对上下文的泛化； 随着n的增大，参数空 间呈指数增长 “预训练-微调” 学习范式 （BERT、GPT） 上下文学习、指令微调、 扩展规律 (GPT3、GPT4…) 基于Transformer架构的语言模型 • 优点： ✓ 长距离依赖处理能力强：自注意力机制能捕捉任 意距离的依赖关系。 浙江大学人工智能教 浙 DeepSeek-R1：监督微调+强化学习训练 DeepSeek-R1-Zero （强推理模型） 推理导向强化学习 （准确率奖励+格式奖励） 纯强化学习训练 低可控：生成文本可 读性差、语言混乱 高探索自由度 => 推理能力自我觉醒 （更长的思维链、更深层次的 推理路径） DeepSeek-V3 （基础模型） 监督微调 强化学习 图源自《ReFT: Reasoning 更强 在探索自 由度、学 习效率、 行为可控 性 找到动 态平衡 混合数据 监督微调 面向全场景的强化学习 （规则奖励+奖励模型） DeepSeek-R1 （强推理模型） 671B 第一阶段训练：增强推理能力，生成高质量推理数据 第二阶段训练：增强通用能力，避免灾难性遗忘 对V3模型 监督微调 推理导向强化学习 （准确率奖励+可读性奖励） R1-Zero生成的 长思维链数据

均指代大语言模型。 2 人工智能时代的社会科学家 5 对于需要大规模文本分析的应用，则需要通过 API 访问；如果有进一步的保密需求，则需要考虑本地部署。 随着相关计算框架的成熟，本地部署大模型、微调大模型已经不是高科技公司的专利，而是每一个社会科学研 究者都能运用的工具。 在介绍完这些技术基础之后，我们分别介绍大模型在研究全过程中的应用。我们认为，人工智能大模型在 研究过程中将会扮演四种 Transformer 模型建构，并发展了 “预训练-微调”范式。所谓“预训练——微调”范式，就是指先在大量一般的文本上对语言模型进行训练，然 后在进行具体任务时，再利用少量数据进行微调。例如，在金融文本情绪分析当中，可以首先利用大量网络文 本数据，训练模型对于语言的一般理解；再利用少量领域数据（如 1000 条标注后的金融新闻标题）对模型参 数进行微调（Fine-tune）。在经济金融研究中，可以利用事先训练好的 利用事先训练好的 BERT 模型，在具体应用中进行微调， 实现对特定任务预测性能的改进。例如Siano (2025) 利用新闻公告文本作为自变量、公告后收益数据作为因变 量，微调了 BERT 模型。Huang et al. (2023) 则进一步针对金融和会计领域训练了 FinBERT 模型。 2020 年，Google 进一步推出了 T5 模型。这一模型的关键意义，在于通过“指令 + 数据”的形式实现了

.......................................................................................61 4.2.1 模型微调模块................................................................................63 4.2.2 业务逻辑集成模块 ..................................87 6. 模型微调与优化...............................................................................................89 6.1 领域适配微调........................................... .....93 6.1.1 金融术语与业务规则注入............................................................95 6.1.2 场景化微调（如信贷审批、投资建议）.....................................97 6.2 性能优化策略....................................

问问同检”应用方案的选择 当前常见的大模型应用方案主要包括大模型直答、大模型微调和 RAG ( 检索增强生成 ) 。 大模型直答虽成本低，但幻觉现象严重，缺乏领域知识与实时信息，且可溯源性较差。微调方案通过 优化模型获取领域知识，减少部分幻觉问题，但仍无法动态更新数据，且训练成本较高。 大模型 应用方案 大模型直答 问题 LLM 回答 问题 大模型微调 LLM + 领域知识 回答 RAG( 检索增强生成 问题 + 检索知识 LLM 回答 大模型直答 大模型微调 RAG ( 检索增强生成 ) 外在幻觉 多 中 少 领域知识 无 有 有 实时信息 无 无 有 可溯源 无 无 有 成本 低 高 低 RAG 方案则通过检索外部知识库，将外部知识作 为 生成内容的基础，从而大幅降低幻觉现象的发生。与仅 依赖模型记忆的直答和微调方案不同， RAG 方案具备 动态接入外部知识库的能力，在应对领域性问题和实时 【核心机制】基于岗位需求与人力资源的 " 动态平衡法 则 "  临床资源精准匹配  医疗质量安全强化  人员发展需求适配 【系统价值】通过人工智能持续优化，实现三大核心目标： 构建排班决策智能数据中枢、自动排班、人工微调 【智能排班】 NEXT- 基于大语言模型的质量指标总结 质量指标总结 NEXT- 基于大语言模型的员工考核系统 未经专业训练的大语言模型 AI 技术在检验医学中落地的挑 战 通用大模型（如

.......................................................................................96 6.1.2 模型微调与迭代优化.............................................................................................. 智能体方案 异常检测覆盖率 预设规则覆盖 65%场 景 机器学习识别 92%场景 工作底稿生成效率 4 小时/份 20 分钟/份（自动校验） 在技术实现路径上，我们采用分层架构设计：底层通过微调后 的 DeepSeek 模型处理非结构化文档，中间层构建审计知识图谱实 现条款关联，应用层则部署风险预警、抽样推荐等具体功能模块。 某试点项目数据显示，该方案使应收账款函证程序的耗时缩短 57%，同时将异常交易检出率提升 40%；其次，风险预测模块通过分析 历史审计案例库，可自动生成高风险科目预警清单，在试点项目中 成功识别出 87%的关联方交易异常；最后，其持续学习机制允许接 入会计师事务所的私有知识库，例如某四大事务所通过微调模型使 其掌握了该所特有的工作底稿编码规则。 审计场景关键能力对照表 | 功能模块 | 技术实现方案 | 审计价 值指标 | |—————–|—————————————|

..94 6.2 模型微调策略............................................................................................................................................................97 6.2.1 领域适应微调............ 上下文理解模块：基于 64 层 Transformer 解码器堆叠，每层 配备 128 头自注意力机制，支持最长 8k token 的上下文窗 口，足以覆盖保险条款全文  任务适配层：通过 LoRA 微调技术实现预训练模型向理赔场景 的快速迁移，仅需更新 0.1%参数即可适配核保规则变更 在架构设计上，模型采用动态计算路径优化技术。对于简单理 赔案件（如小额医疗险），模型自动激活浅层网络分支，推理延迟 85%案件的自动通过率。 模型针对保险行业特别优化的训练体系包含： - 领域自适应预训练：在 1200GB 保险专业语料上持续训练 - 对抗样本训练：包含 8 类常见欺诈模式的对抗数据集 - 条款对齐微调：使用对比学习技术确保输出与保险条款的严格对 应 实时服务能力通过以下技术实现保障： | 指标 | 性能参数 | 行业基准 | |———————|——————–|—————-|