浙江大学 DeepSeek 系列专题线上公开课（第二季） 从大模型、智能体到复杂 AI 应用系统的构 建 —— 以产业大脑为例 肖俊 浙江大学计算机学科与技术学院人工智能研究所 2025 03 杭州 • 大模型推理能力快速提 升 • 推理模型和思维链 (CoT) • 智能体是什么？ • 四链融合产业大脑案例 提纲 大模型推理能力快速提升 开始模仿人 脑进行大量 数据的标记 对现有内容进行分析、分类、判断、预测 客户流失预测 生成式 AI 自动生成开放的文本、图像、音频、视频等内容 短视频片段 广告视频 多模态生成 相对通用的人工智能 一个大模型解决多个问题 自适应地应对复杂外界环境的挑战 专用人工智能 一事一模型，每个模型完成特定智能任务 解决特定的智能问题 里程碑： ChatGPT 的成 功 AI 1.0 时代 AI 2.0 时代 图像分类 文本分类 信用评估 误 事实性幻觉问题 大语言模型易产生幻觉 ，在数学推理方面表现在推理能力严重不足， 体现在简单数值比较错误、 多步推理能力弱、推理不一致等 早期大模型在推理能力上存在明显短板 无法在复杂的思维链中保持一致性 推理过程和答案不一致 Yann LeCun 的批判观点： 对纯粹扩大规模方法的根本质疑 Mehrdad

航天云网工业大数据 复杂装备远程运维综合解决方案 中国航天科工集团航天云网公司 内 容 一、云网介绍 二、工业大数据建设背景及思路 三、工业大数据平台技术架构 四、工业大数据平台案例 • 中央直接管理的国有特大型高科技企业 • 由总部、 6 个研究院、 1 个科研生产基地、 13 个公司制 / 股 份制企业构成 , 拥有职工 16 万，涌现了钱学森、宋健、黄纬 禄等著名专家。 航天云网 —— 公司定位 航天云网 —— 公司定位 突出企业智能化改造 突出复杂设备联网 突出制造资源共享 李伯虎 院士，航天云网首席科学家 研 发 力 量 社 会 认 可 专家团队：航天云网智能制造系统研究由著名计 算机仿真与计算机集成制造专家李伯虎院士领衔 国家重点实验室：全国首个复杂产品智能制造系 统技术国家重点实验室将落户航天云网 工业互联网产业联盟：成员单位包括工业和信息 事 长 单 位 理 事 长 单 位 阿里巴巴 中国电子 大唐集团 中国一汽 • 2016 年 7 月，航天云网联合航天测控公司、国机集团、哈尔滨电汽集团、中兴通讯等企业，共同承担国家发改委“大型复杂 装备工业大数据平台建设及产业化”项目，并将以此项目为依托，打造国家级工业创新中心，并落地地方。 • 该项目将能够为大中型企业建设具有完善数据资产管理能力的大数据平台，并通过汇聚海量高价值制造过程和资源数据，优

《中共中央关于制定国民经济和社会发展第十五个 五年规划的建议》 应急搜救 2022 年四川泸定 6.8 级地 震 受灾 1478 万人 ， 经济损失 1200 亿 元 死亡失踪 117 人 ， 经济损失 154 亿 元 复杂环境下 ，低空智能感知面临“看不清” ，“看不准”和“看不全”的挑战 “ 看不全” “ 看不清” “ 看不准” 单机视角有限且存在遮挡 ，无法捕 捉目标在所有角度下的的特征 雨雪雾恶劣天气和低光照环境降低 语义稀密 从下往上 ，第三排中靠画面最左侧的红色汽车 这个路口中存在的违章行为与异常现象 低空视野广实例密。 在稀疏文本约 束 下 ，从细粒度视觉中辨析细节 ， 需 要 精细逻辑进行推理。 复杂环境下 ，低空推理决策面临语义稀密、空间难解与任务繁复的挑 战 感知 目标检测、 目标计数、 场景分类、 异常识别 理解 图像描述、 条件判断、 视觉定位、 高度预测 推理 物理推理、 因果推理、 这里是什么场景？ 变电设施间距多少？ 存在安全隐患吗？ 斜拍视角进行位置判断与空间度量 任务间推理路径差异化 俯拍视角进行目标感知与属性理解 四维度多种任务形式 空间难解 任务繁复 复杂环境下 ，低空具身智能面临“不可靠” ，“不精准”和“不可控”的挑战 “ 目标理解不可靠” “ 动作生成不精准” “ 体系安全不可控” 行动路径撞上障碍物 动作生成误差导致机械臂需要执行 冗余动作才能完成任务

亿）。作为通用大语言模型，其在 在知识类任 务（知识问答、内容生成等）领域表现出色。 ● DeepSeek-R1 是基于 DeepSeek-V3-Base 训练生成的强化推理能力模型，在数学、 代 码生成和逻辑推断等复杂推理任务上表现优异。 DeepSeek 推动国产模型达到新 的高度 开源模型比肩头部闭源 60%+ 指标优于 Llama3.1 Claude-3.5 GPT- 4o 打破大模型技术壁垒 国内率先支持「 DeepSeek 满血版 + 私 域知识管理 + 实时搜索」于一体 • 分钟级搭建大模型应用 • 集成私域知识库，让 AI 更专业，支持 复杂图文混排文档解析 > 目标客户和场景 : • 面向具备简单开发能力的初级开发者、企 业运营人员。 • 可通过模型选择、提示词模版、 RAG 配 置能 力等加速大模型应用构建，实现与自 企点客服 腾讯学堂 乐享 应用 原子 能力 大 模型 文档解析 - 拆分 - 入库 - 检 索 向量化（ embedding ） ③Agent 模式 调用插件 / 复杂工作流 响 应用户对话 ② 工作流模 式 指定工作流响应 用户对话 文档拆分 重排序 （ rerank) ① 官方插件 文档解析 / 混元文生 图 .. 汽车 语音助手 零售

AI-Driven Research 的潜 力 在长文本依赖任务如 FRAMEs 和 事实性推断 任务 Si l QA 上表现突出 得益于强大的推理能力与长文本思考能力 ， DeepSeek R1 在复杂任务上表现卓越，成为开源领域的 又 一里程碑，标志着开源社区在与闭源大模型（如 OpenAIo1 系列）的竞争中迈出了关键性一步。 DeepSeek-R1 在数学代码任务上表现突出 Deepseek 没有使用 Reward Model, 因为 ORM 和 PRM 等基于神经网络的都可能遭受 reward hacking 而 retraining reward model 需要大量的计算资源，可能会复杂化整个流程 训练模板： 选择最简单的 Thinking Process ， 直接观察到最直接的 RL 过程下的表现 DeepSeek-R1 Zero: 无需监督微调 SFT ，纯强化学习驱动的强推理模型 From PPO to GRPO: PPO 的价值函数通常是与策略模型规模相当的独立模型，这带来了巨大的内存和计算负担。 奖励模型通常仅对输出序列的最后一个词元分配奖励，导致逐词元价值函数的训练复杂化。 GRPO ：无需像 PPO 额外近似价值函数，而是利用同一问题下多个采样输出的平均奖励作为基线。具 体而 言，对于每个问题 ， GRPO 从旧策略 πθold 中采样一组输出，并通过最大化以下目标优化策略模型：

大规模语言模型（ LLMs ） GPU 算力供 给 3 02 以“自主规划与工具使用”响应“复杂任务”要求： Agent 的核心能力——自主规划、记忆、使用工具 （网页、软件、 API ）使其天生就擅长处理需要与 外部环境交互的复杂、多步骤流程，完美解决了传 统 AI 在“流程自动化”上的短板。 以“执行力”响应“落地”要求： 方案能稳定落地生产环境，集成后带 来实 际业务成果，同时将 AI 从“助手”升级为“员工”或“自动化引擎”，处理如自动生成报告、解决复杂客服问题等复杂任务，以实现显著生产力 飞 跃。 AI Agent 契合这一需求，其天生适合处理复杂任务，强调执行与行动，具备自动化复杂流程的潜力，有望带来指数级效率提升和生产力解 放，满足市场对显著价值回报的需求。 过去的状态： 停留在概念验证（ PoC ）或小范围试点， ）或“自动化引擎”（ Engine ）。 生产力回报 从“增量优化”走向“指数飞跃” 以“重塑工作方式”响应“指数飞跃”要求： Agent 的巨大潜力在于，通过自动化过去无法自动 化的、更复杂、更耗时的工作流，能够为企业带来 指数级的效率提升和生产力解放，这直接回应了市 场对于“显著价值回报”的终极期待。 企业应用市场需求的质变：三大核心期望的全面升级

树形 宽表 写入 顺序写入 简单 简单 简单 乱序写入 复杂 复杂 复杂 异频写入 简单 简单 复杂 不同时间点采集 简单 简单 中等 存储 压缩比 低 中 高 查询 单设备单指标类查询 简单 简单 简单 单设备多指标类查询 复杂 简单 简单 多设备类查询 复杂 中等 简单 维度查询 复杂 复杂 简单 分析类查询 复杂 复杂 简单 Confidential 四维纵 横 Confidential 1 传统方案造成复杂、低效、孤岛化的现 状 • 多种数据产品、孤岛化严重；穿墙打洞、复杂低效；数据质量参差不齐 • 70% 企业结果是投了钱，疗效低（ Gartner 报告） Matrix DB ：高性能超融合数据库 历史原因造成纷繁复杂、低效 让数据回归应该有的样子！ Confidential 1 将复杂留给用户 把极简、极速留给用户 │ ©202 四维纵横 各种业务

， 以应对更复杂、 更庞大的数据集或任务。 大模型通常能够学习 到 更细微的模式和规律 ，具有更强的泛化能力和表达能力 学习能力强 大模型可以从大量的数据中学习， 并利用学到的知识和模式来提供 更精准的答案和预测 。这使得它 们在解决复杂问题和应对新的 场 景时表现更加出色 上下文理解能力 大模型具有更强的上下文理解能 力 ，能够理解更复杂的语意和语 是指能够处理多种不同类型数据的大模型，例如 文本 、 图像 、音频等多模态数据 。这类模型结 合 了 NLP 和 CV 的能力， 以实现对多模态信息 的综合 理解和分析，从而能够更全面地理解和 处理复杂 的数据 。代表性产品包括 DingoDB 多模向量数据 库（九章云极 DataCanvas ） 、 DALL-E(OpenAI) 、 悟空画画（华 为） 、 midjourney 等 先显式地写出推理的中间步骤。这就像 人 类解决复杂问题时会先把思考过程写 下来 一样 推理模型的核心 也就是说 ，如果模型在回复你之前有一 长 串的思考过程（这个过程必须可以显示输 出） ，探索了很多不同的路径之后给出 答 案 ，那么有这个能力的大模型就是推 理大 模型。推理模型的核心在于处理那 些需要 多步骤逻辑推导才能解决的复杂 问题 推理大模型 推理大模型的概念大规模传播应该开始于

捉目标在所有角度下的特征 复杂环境下 ，低空智能感知面临“看不清” ，“看不准”和“看不全”的挑战 “ 看不清 ” 雨雪雾恶劣天气和低光照环境降低 了无人机对目标的感知清晰度 “ 看不准” 低空感知模型进化难 “ 看不全” 多机跨视角感知难 “ 看不清” 复杂环境全天候感知难 低空感知 基础模型自主进化技术 水情监测 研究挑战 关键难题 技术创新 低空复杂环境 全天候感知技术 届 VisDrone 竞 赛 全球包括卡耐基梅隆大学等 在内的 2000+ 参赛队伍 5000+ 篇论文使用并引用 > 关键平台： 建立了复杂环境协同感知数据平台 （ TPAMI 2022 ） 构建了大规模多源、多模态、多任务、非完备复杂环境协同感知数据平 台 VisDrone ，覆盖单机和多机协同感知任务。 国内外广泛使用的无人机视觉基准数据平台 DroneCrowd-TJU DroneRGBT-TJU VisDrone-TJU MultiDrone-TJU AnimalDrone-TJU > 关键平台： 建立了复杂环境协同感知数据平 台 反无人机微小目标检测数据集（ ECCV 2024 ） 平台优势 智能化升级 ，效率倍增长 通过 AI 技术赋能 ， 实现城市巡检从传统人工模式向 智能化、 标准化、 规模化的跨越式升级

以应对更复杂、 更庞大的数据集或任务。 大模型通常能够学习 到 更细微的模式和规律 ，具有更强的泛化能力和表达能力 学习能力强 大模型可以从大量的数据中学习， 并利用学到的知识和模式来提供 更精准的答案和预测 。这使得它 们在解决复杂问题和应对新的 场 景时表现更加出色 上下文理解能力 大模型具有更强的上下文理解能 力 ，能够理解更复杂的语意和语 是指能够处理多种不同类型数据的大模型，例如 文本 、 图像 、音频等多模态数据 。这类模型结 合 了 NLP 和 CV 的能力， 以实现对多模态信息 的综合 理解和分析，从而能够更全面地理解和 处理复杂 的数据 。代表性产品包括 DingoDB 多模向量数据 库（九章云极 DataCanvas ） 、 DALL-E(OpenAI) 、 悟空画画（华 为） 、 midjourney 等 先显式地写出推理的中间步骤。这就像人 类解决复杂问题时会先把思考过程写下来 一样。 推理模型的核心 也就是说 ，如果模型在回复你之前有一 长 串的思考过程（这个过程必须可以显 示输 出） ，探索了很多不同的路径之后 给出答 案 ，那么有这个能力的大模型就 是推理大 模型。推理模型的核心在于处 理那些需要 多步骤逻辑推导才能解决的 复杂问题。 3.4 大模型的分 类 大语言模型可以分为通用大模型和推理大模型