INTELLIGENCE ARTIFICIAL 人工智能大模型 保险行业应用评测报告 Evaluation Report on the Application of Large-scale Artificial Intelligence Models in the Insurance Industry 2023 年 10 月 以 ChatGPT 为代表的 AI 大模型技术席卷全球，不仅 发布《人工智能大模型保险行业应用评测报告》。报告特邀国内知名 高校专家学者、中国大地财产保险股份有限公司、众惠财产相互保险社等共同调研并撰写完成。 《报告》通过保险、法律、医疗等相关领域常规知识问题，测试大模型的基础能力，同时针对部分主要典型的应用能力设计 了保险业务场景设定及问题，以测试大模型的实际应用能力。区别于以底层专业性能指标为评测维度的大模型评测报告， 《报告》以应用场景的视 实用和直观的信息，更具现实层面的指导意义。 本报告评测结果经专家组进行谨慎的综合论证形成，但考虑到大模型迭代速度日新月异，评测结果仅代表测试期间所呈现的 效果。报告在分析结论上难免存在一定的局限性和偏差，欢迎各届批评指正。 评测框架 保险垂直领域大模型评测从常用的保险业务场景中抽离三大主要应用能力，细分为十大能力测试维度， 71 个评测任务。通 过 不同任务上大模型的性能表现，挖掘其基础能力的优势和特点。

旨在为保险行业的智 能化转型提供技术参考和实践建议。 白皮书基于阳光保险的大模型落地实践经验，深入剖析了大模型技术在保险行业的落 地应用路线。我们详细阐述了数据准备、模型精调、工程化适配、模型评测等关键环节的技 术要点和注意事项，为行业同仁提供理论指导和操作建议。除此之外，成功的落地应用需要 保险公司和科技公司紧密合作，共同构建开放、共享、协同的创新生态。这些内容为保险行 业探索大模型技术的应用提供了宝贵的经验和启示。 · · · · · · · 17 3.2 保险垂直领域大模型构建及评测· · · · · · · · · · · · · · · · · · · · 52 3.2.1 保险垂直领域模型构建· · · · · · · · · · · · · · · · · · · · · · · · 52 3.2.2 保险垂直领域大模型评测体系· · · · · · · · · · · · · · · · · · 53 图4 S-Eval评测体系架构图· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 59 图5 S-Eval评测方法示意图· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 60 图6 S-Eval评测层级· · · · · · ·

2.1 模型训练模块.............................................................................50 3.2.2 模型评测模块.............................................................................52 3.2.3 API 集成模块.. 可靠的基础设施。 3.2.2 模型评测模块 模型评测模块是人工智能行业大模型 SaaS 平台的重要组成部 分，它的主要目的是对所训练的模型进行客观、系统的性能评估， 以便为用户提供充分的信息，帮助他们选择合适的模型并制定后续 的优化策略。该模块应具备多维度的评测指标体系，并支持灵活的 评测方式，确保用户获得的评测结果具有良好的可信度和解释性。 功能设计上，模型评测模块应包括以下几个核心功能： 1. 自动化评测：用户上传模型后，系统可依据预先设定的评测标 准，自动进行评测。评测内容可以是数据集分割、模型推理、 结果分析等。 2. 多指标评估：根据不同模型的特性和应用场景，评测模块应支 持多种评估指标，包括但不限于： o 精确度（Accuracy） o 召回率（Recall） o F1-score o ROC 曲线与 AUC（Area Under Curve） o 训练时间与推理时间

但不限于模型性能评估、数据集质量评估、算法创新性 评估等。 o 提供任务进度跟踪功能，允许用户实时查看任务完成情 况，并生成详细的考评报告。 5. 评测与反馈 o 系统需提供多种评测指标（如准确率、召回率、F1 分数 等），支持自动化评测和人工评测相结合的方式，确保 考评结果的全面性和准确性。 o 提供反馈机制，允许用户对考评结果进行申诉或提出改 进建议，系统应支持反馈的快速处理和分析。 可扩展性需求 系统应具备良好的可扩展性，以应对未来业务规模的增长和技 术的迭代更新。首先，系统架构应采用模块化设计，确保各个功能 模块之间松耦合，便于独立升级和扩展。例如，当需要增加新的训 练算法或评测指标时，只需在对应的模块中进行开发，而不影响系 统其他部分的正常运行。同时，系统应支持分布式部署，以提升处 理能力和资源利用率。通过引入容器化技术（如 Docker）和编排 工具（如 Kube

业务需 求 内置 R1 模型一键部 署 快速 选择并精调目标模型 评估对比模型效果 R1 模型部署 效果评 估 蒸馏模 型 任务式建模 数据构建 模型评测 数据构建 数据构建 无关数据过滤剔除 R1 问题清 洗 在线服务 - - ~ TI 平台的 DeepSeek 实践 全行业适用、让 DeepSeek 更好用 TI 平台

结合了优化的训练策略，扩展了训练数据集和模型规模。通过这些改进， Janus-Pro 在多模态理解和文本到 图像的指令跟踪功能方面都取得了重大进步，同时还增强了文本到图像生成的稳定性。 n 作为在 GenEval 等评测中超越 DALL-E 3 和 Stable Diffusion 3-Medium 的开源模型， Janus-Pro 也展现出了更多应用潜力。 图表： Janus-Pro 多模态理解和视觉生成表现

MLA多头潜在注意力机制（降低显存占用） • MTP多token预测（提升效果、提升推理速度） • FP8混合精度训练、DualPipe流水线、MoE负载 均衡（提升训练效率，降低训练成本） DeepSeek-V3多项评测成绩超越了Qwen2.5-72B和Llama-3.1-405B等其他开源模型，并在性能上和 世界顶尖的闭源模型GPT-4o以及Claude-3.5-Sonnet不分伯仲。 DeepSeek-V3