金融领域AI大模型和AGENT实践解决方案（22页 PPT）

微信扫码，打开到小程序

杨强 微众银行首席人工智能官（ CAIO ） 加拿大工程院与皇家学院院士 杨强 202307 weBank AI Agent 是大模型面向应用端发展的下 一阶段 联邦学习与联邦 大模型 WeBank AI Agent 目录 2 2. 通用大模型不具备专业知识 通用大模型如直接用于各行各业，模型表现 得专业知识不足，并不能满足业务要求； 需要利用本地数据训练垂类行业大模型，大 幅度提升模型性能 • 大模型生成的回复违背了用户输 入中的任务指示或者任务输入； • 大模型生成的回复出现了自我矛 盾； • 大模型生成的回复与公认的事实 知识出现了冲突。 • 需要不断增加高质量的标注数据， 优化模型加以解决 3. 保护数据要素隐私 训练垂类行业模型时，面临 保护各类本地数据隐私的问 题。包括，训练数据，本地 模型，提示词等。 多个数据源联合训练一个大 模型时极有可能会暴露每个 数据源的用户隐私和影响信 息安全。 例子： 问：请总结以下新能源车的介绍， 并突出说明其优点。 答：总体上看，这款最新的 XXX 车性能优异，尤其是其续航里程 达到了 2 千公里。 机器学习 模型实现 2% 数据标注 25% 数据整合 10% 数据清洗 25% 通用大模型不能直接应用 对数据相关的处理过程可占据 超过 80% 的时间，其中数据标 注环节的耗时占比可达 25% 1. 通用大模型存在幻觉问 题 机器学习项目中不同环节耗费 时间结构比重 机器学习 模型训练 10% 数据识别 5% 机器学习 模型调参 5% 机器学习 算法开发 3% 数据增强 15% 3 AI Agent 如何解决通用大模型短板 知识库检索增强生（ RAG ） 办法： 1. 收集整理垂类相关 的领域数据 / 企业 数据 / 专业数据； 2. 构建垂直行业领域 的知识库。 效果： 1. 知识库反馈的信息， 保证事实正确，避 免了幻觉； 2. 实时查询，避免了 信息滞后。 4 大模型微调 （ Finetune) 方案 ： 1. 收集整理垂类相关 的领域数据 / 企业 数据 / 专业数据； 2. 利用这些数据修正 （微调）大模型； 效果 ： 1. 微调后的大模型， 更理解垂类应用要 求，性能更优； 2. 微调后的大模型， 事实性更准确，避 免了幻觉。 人工审核 Prompt 优化、反面案例、 COT 构建 模型微调 性能评估 原始训练集 审核后训练集 专用训练集 微调后模型 模型上线 AI Agent 如何解决生成式大模型短板 Embedding 模型 通用大模型 垂直领域文档 5 大模型微调 ( 思维链 CoT) 方案 ： 1. 微调数据中包括领域知识 及解题步骤（思维链）； 2. 利用这些数据修正（微调） 大模型； 效果 ： 1. 微调后的大模型，更理解 垂类应用要求，性能更优； 2. 微调后的大模型，事实性 更准确，避免了幻觉。 AI Agent 如何解决生成式大模型短板 微调数据（思维链） 微调效果： 6 联邦大模型 方案 ： 1. 构建联邦大模型新范式，解 决数据稀缺 / 标注不足问题； 2. 利用联邦学习技术，在保护 数据隐私的前提下，合规合 法地利用手机、汽车等终端 设备上的私域数据； 效果 ： 1. 联邦大模型，整体性能更优； 2. 联邦大模型，有效保护了私 域数据的隐私和机密。 3. 本地的联邦模型，无需高性 能计算资源，降低了使用门 槛，提升了能源效率。 AI Agent 如何解决原生大模型短板 7 专利场景：撰写技术交底书 AI Agent 是大模型面向应用端发展的下一阶段 AI Agent ：面向某一特定任务 / 场景 ，提供解决方案的智能助手 大模型能力 特定任务 / 场景的数据 AI Agent AI Agent 专利助 手 撰写文章能力 示例 8 AI Agent 的特点 • 基于大模型的通用能力 • 结合领域知识，适应不同的场景需求 AI Agent 与大模型的关系 • 大模型只是一种通用能力 • AI Agent 是在大模型通用能力上定制化 的落地解决方案 ，和业务直接对接 比尔 · 盖茨（微软联合创始人） Agent 更加智能。 它们是主动的 ，能够在你提出请求之前就提供建议； 能够跨应用程序执行任务；能够随着时间推移而改进。 李彦宏（百度创始人、董事长兼首席执行官） 大模型时代 ，真正最大的机会既不在基础服务 ，也不在行业服务 ， 我觉得恰恰是在应用。 马克 · 扎克伯格（ Meta CEO ） AI 助手（ Agent ）可以帮助人们创造内容来更好地表达其想法 ，或 者成为给用户建议和鼓励的 AI 教练。 Lilian Weng （ OpenAI Safety 团队负责人） AI Agent 可以让 LLM 从“超级大脑”进化为人类的“全能助手” ，这意味 着基于 LLM 的 Agent 助手以后将会服务更多的人与组织。 AI Agent 是大模型面向应用端发展的下一阶段 9 AI Agent 是大模型面向应用端发展的下 一阶段 联邦学习与联邦 大模型 WeBank AI Agent 目录 10 风控与反 欺诈 合规 / 消保 Agent 兰 查（ eKYC ） 合规 / 消保 Agent 知识产权（专利） Agent 企金语义大模型 Agent Agent 人像核 自然语言 引擎 WeLLM (LLM MOE) + 联邦学习 Federated Learning AI Agent 技术底座 WeBank AI Agent （ WeAIA ） 智能语音机器人 Agent 用户画像标签生成 Agent 相似问题生成 Agent 客服 合规 / 消保 Agent 用户画像标签生成 Agent 用 户端 中后台 摘要生成 Agent 营销 Agent 知识 图谱 语音引 擎 视觉 引擎 营销 11 文生图 文本 : 一只猫在草莓树下。 文本→图片→视频 营销 : 智能营销 Agent—— 大模型高效生成丰富营销素 材 12 应用层 以平台层为支撑基础的各种产品应用 平台层 以 We 大模型为代表的 AI 技术服务平台（生态） 认知层 大模型 NLU 知识图谱 用户画像 感知层 语音 图像 视频 AR/VR 基础层 大数据 算法 算力 WeBank AI 技术栈架 构 AI 技 术 栈 整 体 架 构 13 AI Agent 是大模型面向应用端发展的下 一阶段 联邦学习与联邦 大模型 WeBank AI Agent 目录 14 本地模型 本地数据 大模型 联邦大模型 FATE-LLM 问题：如何能够让大模型落地到本地小模型，同时保护隐私安全？ 本地模型 本地数据 … 15 传统方法：将草从各地集中到一起喂羊， 并不合规，隐私和数据安全保护的要求 使得获取数据成为障碍 联邦学习新思路：让羊群在各地移动， 而草不出本地，主人无法知道它吃了 哪些草 联邦学习核心思想 数据不动模型动，数据可用不可见 16 领衔联邦学习相关研究与应用 FATE ：联邦学习开源框架热度全球 第二 全球联邦学习领域高被引学者数量 top10 中国联邦学习论文被引用量最高 17 发布全球第一个联邦学习国际标准， 2021.3 IEEE P3652.1 《 IEEE Guide for Architectural Framework and Application of Federated Machine Learning 》 发布可解释人工智能国际标准， 2024.3 IEEE P2894 《 Guide for an Architectural Framework for Explainable Artificial Intelligence 》 制定中的国际标准（ 2024 ）： • 聚焦联邦学习的可信赖、可解释、可优化、可监管的可信联邦学习标 准 IEEE P3187 《 Guide for Framework for Trustworthy Federated Machine Learning 》 • 联邦学习的隐私和安全架构的标准 IEEE P2986 《 Recommended Practice for Privacy and Security for Federated Machine Learning 》 • 中国电信和微众银行联合发起关于语义信息智能体的联邦学习标准 IEEE P3427 《 Standard for Federated Machine Learning of Semantic Information Agents 》 • 联邦学习贡献度评估标准 IEEE P3338 《 Guide for Framework for • 牵头《人工智能 联邦学习技术规范》国家标准的制定， 2023 年 12 月 1 日国标委发【 2023 】 58 号文件公布了该标准的正式立 项 • 信通院标准《基于多方安全计算的数据流通产品技术要求与 测试方法》和《联邦学习技术与应用》 • 金融行业标准：央行金融标准化委员会《多方安全计算金融 应用技术规划》 ；《联邦学习金融应用与互联互通标准规范》 ； • 通信行业标准：《联邦学习的安全评测技术要求及测试方法》 （ CCSA-TC1/TF1) ；《联邦学习跨框架互操作技术要求》 • 团体标准：《联邦学习跨平台互联互通标准》（ CCSA-T601 ） 领衔行业标准制定 （ 2018-2024) 【国际标准】 【国内标准】 27 FATE 开源社区是由联邦学习技术开发者、行研方、产业方及生态伙伴共同组建与治理的协作创新平台，是全球领先的联邦学习开源社区，拥有工业级联邦学习开源 框架 FATE 。社区以“开源开放，共力创新”为愿景，汇聚了 4000+ 社区用户参与社区共建，覆盖金融、医疗、科研、人工智能等多个领域与场景，是可信数据流通 领域最具影响力的社区之一。 1300+ 家企业机构， 500+ 所高校 5600 GitHub Star 2021.03 ● • 联邦学习首个国际标准发布 IEEE P3652.1 《 Guide for Architectural Framework and Application of Federated Machine Learning( 联邦学习基础架构 与应用 ) 》 全球领先的隐私计算联邦学习开源社区 2022.09 . • 联合开放群岛、百度、京 东、腾讯云启动隐私计算 开源协同计划 • 加入 LF AI & Data 基金会， 作为新孵化项目共同推动 联邦学习生态建设 2020.04 ● • 联邦学习首本中 英文著作 《 Federated Learning 》《联 邦学习》 2023.04 ● • 推出首个开源联邦 大模型 FATE-LLM 功能模块， FATE v1.11 正式上线发布 2023.12 . • FATE2.0 版本正式 推出，实现四个层 面的互联互通 Federated Al Technology Enabler 口 L FAI &DATA 2023.02 . • FATE v2.0 Alpha 版本重磅发布 2021.04 ● • 首次实现异 构联邦学习平 台互联互通 社区愿景：开源开放，共力创新 2019.06 ● • FATE 捐赠 给 Linux Foundation 2019.02 ● • FATE V0.1 版 本正式发布 ZTE 中 兴 Tencent 腾讯 么腾讯云 ICT 、互联网企 业 高校、科研院所 泛金融 19 微调后 大模型 私有数据 服务器端 联邦大模型场景 : 训练和推理过程 领衔联邦学习相关前沿研究：联邦迁移大模型 FTL-LLM 基于“可信联邦学习”的理论框架，在业内提出“联邦迁移大模型”新范式 知识迁移 差分隐私 联邦学习 知识蒸馏 Adapter 分层学习 2. 公域数据耗尽，可用数据数量不足的问题 当公域数据消耗殆尽时，在保护数据隐私的前提下， 合规合法地利用手机、汽车等终端设备上的私域数据。 1. 构建和使用大模型时的数据隐私保护问题 多个数据源联合训练一个大模型时极有可能会 暴露每个数据源的用户隐私和影响信息安全。 服务端大数据大模型 本地数据和本地大模型 联邦迁移大模型 联 邦 迁 移 大 模 型 联邦学习 + 迁移学习 + 大模型 解决 痛点 问题 开源联邦大模型 FATE-LLM 》 》 预训练 模型 本地 大模型 本地端 公开数据 20 • 场景 2 ：多方模型异构场景，如何进 行联邦学习？ • 每一方资源不同：数据， GPU • 各方模型不一样： 如 GPT-2-base, GPT-2- median, GPT-2-large • 解决方案：知识蒸馏 Knowledge Distillation • 场景 1 ：大模型微调阶段 • 问题：全量模型聚合的通讯代价过高 • 解决方案：引入分层，利用 Adapter ， Prompt tuning Aggregation 机制 联邦大模型架构 - 同构和异构联邦大模 型 21 weBank 杨强 202307