大语言模型 预训练大语言模型 GPT 文 心 ERNIE ... 3.3 人工智能与大模型的关 系 深度学习模型 预训练模型 文心一言 ChatGPT 语言大模型 是 指 在 自 然 语 言 处 理 （ Nat u ral La ng uage Processing ， NLP ）领域中的一类大 模型， 通常 用于处理文本数据和理解自然语言 。 这类大模型 的主要特点是它们在大规模语料库上 大模型是基于 Transformer 架构的 ，这种架构是一种专门用于自然语言处理的“编码 - 解码器”架构。 在训练过程中 ，大模 型将输入的单词以向量的形式传递给神经网络 ，然后通过网络的编码解码以及自注意力机制 ，建立起每个单词之间联系的 权 重。大模型的核心能力在于将输入的每句话中的每个单词与已经编码在模型中的单词进行相关性的计算 ，并把相关性又 编码 叠加在每个单词中。 这样 ，大模型能够更好地理解和生成自然文本 ，经过大量文本数据训练而成 ，能够生成自 然、 流畅的语言 ，并具备回答问题、 生成文本、 语言翻译等多种功能 ChatGPT 的应用范围广泛 ， 可以用于客服、 问答系统、 对话生成、 文本生成等领域。 它能够理解人类语言 ，并能够回 答各 种问题 ，提供相关的知识和信息。 与其他聊天机器人相比 ， ChatGPT 具备更强的语言理解和生成能力 ，能够更自 然地与人 类交流 ，并且能够更好地适应不同的领域和场景。

DeepSeek-R1 满血版为例进行演示 ，通过百炼模型服务进行 DeepSeek 开源模型调用 ，可以 根 据实际需求选择其他参数规模的 DeepSeek 模型。百炼平台的 API 提供标准化接口 ，无需自 行搭建 模型服务基础设施 ，且具备负载均衡和自动扩缩容机制 ，保障 API 调用稳定性。搭配 Chatbox 可视 化界面客户端 ，进一步简化了调用流程 ，无需在命令行中操作 ，通过图形化界面即 Haystack 官网： https://haystack.deepset.ai/、 功能：用于构建基于 NLP 的搜索和问答系统 ，提供模块化架 构、多模型支持、高效检索、问答功能 ，可扩展性强 ，适 用 于问答系统和文档检索应用。 6. LlamaIndex 官网： https://docs.llamaindex.ai/ • 功能：简化外部知识库与 LLM 的集成 ，支持动态数据摄取

App Image Client OS / App Image  在一个刀片上（每个刀片上具有 10-12 个桌 面图像）支持多种操作系统  对于新的桌面体验来讲，用户需要最小的适 应性。  虚拟桌面架构  通过分享应用环境，每个刀片 支持 50-100 个用户  需要用户适应新的桌面体验  终端服务  基于 1:1 理念，每位学习者拥有一台 PC 或者服务器

DeepSeek-V3 是一款 MoE 模型，总参数量 671B ，激活参数量 37B ，采用 2048 张 H800 （节点内 NVLink ，节点间 IB ，非超节点架构） 在 14.8T token 数据集上基 于自 研 HAI-LLM 训练系统总计训练了 1394h （ 58.08 天） 性能优 数学、科学和代码等领域领先业界， 成为业界公认的 LLM 的领先模型 来源： DeepSeek 模型测试数据 高阶融合算子库 硬件层算网协同 提升有效吞吐 NLSB 网络级负载均衡实现网络 动态路由，有效吞吐达 98% 控 制器 全 局集 中 算路 自 动生 成 路径 并 动态下 发网络 获取网络拓扑 网络局部计算选路 Hash 冲 突 导 致 有 效 吞 吐 不 足 50% 拥塞 indIE 对标 Triton+TMS/vLLM MindIE-Service MindIE-Server MindIE-LLM 对标 TensorRT-LLM • 支持社区模型快速迁移 • 自回归解码、扩散过程优化 • 稀疏量化压缩、 并行推理 对标 TensorRT • 图优化，算子融合， Kernel 优 化 • 量化、混合精度加速 • 异步下发，多流水执行 第三方推理服务

实时 监控物流配送过程，提高配送效率、降低成本。 • 财务与人力管理：通过训练模型，可以自动读取发 票和收据，将其转换为数字格式，直接导入会计系 统，减少了数据录入和处理的时间和错误 。使用自 然语言处理 (NLP) 和机器学习算法，能快速分析候 选人简历，识别出与职位相关的教育背景、工作经历 等关键信息，快速筛选出符合条件的候选人，提高招 聘效率。 05 01 工业人工智能 可以对未见过的数据做出准确的预测，能够处 理更加复杂的任务和数据。 展开来讲，大模型技术有以下几项基本特征： 1. 普遍基于 Transformer 架构。Transformer 架构通过引入自注意力 (Self-Attention) 机制，在处理序列数据时，能同时 关注输入序列的所有元素，并直接建立任意两个元素之间的联系，从而捕捉序列中的长距离依赖关系，实现对输入序列的 高效处理和理解 AI 技术，还是工业大模型的落地应用，数据都是首要问题。首先是数据的数量问题，如何从应用场景 中收集到大量的数据作为训练算法或模型，是算法或大模型具备更智能化分析和决策能力的基础。而往往很多时候来 自工业现场的数据量非常有限甚至极少。其次是数据质量问题，即数据的清洁性，并非所有来自工业现场的数据都是 有用的，需要对数据进行清洁。如何从实际应用场景中采集或生成丰富且有价值的可用数据，是 AI 及工业大模型成功

随着模型尺寸逐渐增大，预训练阶段参数 Scaling Up 带来的边际收益开始递减；如果想要深度提升模 型推理能力和长程问题能力，基于RL的 Post-Training 将会成为下一个突破点。 ➢ 自回归模型在数学推理问题上很难进步的一点在于没有办法进行回答的自主修正，如果仅是依靠生成 式方法和扩大参数规模，那么在数学推理任务上带来的收益不会太大。所以需要寻找额外的 Scaling Laws [1]。 流程：“监督微调（SFT）→ 强化学习（RL）→ 再次 SFT → 再次 RL”，有效解决了传统强化学 习模型在冷启动、收敛效率和多场景适应性方面的瓶颈。 ➢ 强大的自验证和长链推理能力：并非预先设定好的，而是在RL训练中自主涌现出来的 ➢ 自验证是指模型在生成最终答案之前，会先主动地验证自己的中间推理步骤是否正确。这就 像一个学生在做题时，会反复检查自己的解题过程，以确保答案的准确性。 ➢ 反思

2.功能模块：你的私人 AI 军团 DeepSeek 通过三大功能模块，满足从日常生活到专业领域的全场景需求： 模块 1：基础版（V3）——效率倍增器 适用人群：学生、白领、自媒体创作者 核心技能： ⚫ 文案生产：3 分钟生成周报/演讲稿/小红书爆款文案（带 Emoji 和话题标签） ⚫ 知识管家：自动整理会议录音→生成思维导图→提炼待办事项 ⚫ 语言翻译：支持