本地部署蒸馏小模型 第三方 UI 客户管接入服务 云端网站接入服 务 Deepseek 模型及蒸馏模 型 Chatbox API 及网络调 用 Chatbox API 及网络调 用 API 及蒸馏模 型 API 及蒸馏模 型 本地网络调用 API 接 入 DeepseeK 替代部署方案 • 本地部署蒸馏小模型： 可通过 可通过 o llama 平台、 LM Studio 平台快速本地部署基于 Llama 和 Qwen 蒸馏 的 DeepSeek - R1 推理模型 ，涵盖多种不同参数规模 ，适合想在本地运行模型的用户。 • 第三方 UI 客户管接入服务： 可通过 Anything LLM 、 Cherry Studio 、 Chatbox 等选择 API 接入。 • 秘塔 AI 搜索： 接入满血版 直译过来叫做“检索增强生成 ” 。 相当于这题我不会， 但是我有“小抄 ” ， 我回 答的时候， 就看一眼小抄， 然后再综合我脑子里的已有知识， 进行回答。 蒸馏、微调、 RAG DeepSeek 本地部 署 1. GPU 要求 推荐 NVIDIA 显卡（ RTX 3090/4090/A100 等） 显存要求： ■ 7B 模型： 至少 16GB 显存 ■ 13B/20B 模型：

在线讲座观看人数 • …… 团队联系方式： ziyulin@xmu.edu.cn 厦门大学大数据教学团队 1. 人工智能发展简史 2. 人工智能思维 3. 大模型： 人工智能的前沿 4. 高校本地部署 DeepSeek 大模 型 5. AIGC 应用与实践 6. 基于大模型的智能体 7. AI 赋能高校科研 8. AI 赋能高校教学 目录 厦门大学大数据教学团队作品 ，进行天气预测和气候模拟 。 它们能 够 分析复杂的气象现象，提供准确的气 象预 报 ，帮助人们做出应对气候变化的 决策 3.7 大模型的应用领 域 工业制造 生物信息学 气候研究 4. 高校本地部署 DeepSeek 大模型 厦门大学大数据教学团队作品 大模型 图标 DeepSeek 杂问题。该校表示 ， 目前“深度思考 ”功能对全校教师开放 ， 后续将逐步对学生开放 ，并上线更多功能。 北京师范大学利用该校培养方案、教学手册、教学大纲等高质量 语 料 ， 为近万门课程本地化部署 DeepSeek-R1 大模型。登录智 能 “课程中心 ” ，学业规划、知识问答、概念讲解、资源推荐、解 题 启发、论文润色等功能一目了然 ，为师生提供定制化、情境化 的教 学辅助 ，还支持学生的个性化与探究式学习需求。

耗-性能消耗，这凸显了所有英特尔® 至强® 6 处理器的高效性。对于性能要求苛刻的工作负载，这意味着平台在高负载下有 效地利用能耗，以帮助快速完成工作。 利用增强的安全功能跟上业务增长的步伐 在本地、边缘和云服务器上追求新的业务模式和数据共享，即使在处理敏感数据或受监管数据时也是如此。基于可信执行环 境 (TEE) 的机密计算能够帮助在使用过程中保护数据和 AI 模型。采用性能核的英特尔® 至强® ™ 提供了一系列 模型优化和转换工具，帮助开发者优化他们搭建的模型的性能，例如提高推理速度、降低运行内存等等。最后，OpenVINO™ 支持将模型部署在各种各样的环境上，无论是云端、浏览器还是本地设备、英特尔® 或是第三方硬件、CPU、GPU、NPU 或 FPGA。 性能优化 图：OpenVINO™ 图示（来源：https://docs.openvino.ai/2024/index 跨平台能力的，其插件包含了在各种特定硬件平台上运行模型所需的软件组件。每个插件都实现了统一的 API，并提供了用 于配置设备的额外硬件特定 API。 通过 OpenVINO™，开发者可以将模型部署在本地，同时 OpenVINO™ 还提供了模型服务器。OpenVINO™ 模型服务器用 于托管模型，并通过标准网络协议使它们能够被客户端软件访问：客户端向模型服务器发送请求，模型服务器执行模型推理 并

800I A2 ） 4 台 *8 口 *200GE 样本面（可选） CE9860 8*25GE 带外管理面（ BMC 管理可选） CE5882 4*GE DeepseekV3/R1 模型本地化部署组网 方案 图 例 400G 200G 25G GE 100G 10G DeepSeek R1/V3 推理配置建议 BF16 最小配置 4 台计算节点； INT8 Huawei Proprietary - Restricted Distribution 16*400GE 一分二 CE9860 Leaf 9950 6 序号 模型 发布日期 描述 本地部署推理最低配置 当前支持情况 1 DeepSeek-V3 2024.12.16 MOE,671B 4*Atlas800I A2 （ 8 卡， 64GB ） 2 DeepSeek-R1 2025 智能客服、内容创 作、医疗影像 AI PC 工作站，本 地办公应用 支 持 deepseek 蒸 馏模型训推 金融助手、智能 风控、文档审核 办公助手，智能 写作，智能搜索 AI 工作站，本地 办公应用 学生 / 开发者实 践 硅基流动一体机 伙伴 元景一体机 25Q1 25Q1 昇腾与 PyTorch 开源社区紧密合作， 共促 AI 生态创新发展 华为在计算机视觉、自然语言处理、语音识别等领域进行了广

避坑指南：超过 50 页的长文档建议拆分处理，避免解析超时 3.常见问题速查 Q1：为什么联网搜索时断时续？ 原因：服务器负载过高或网络波动 解决方案：避开晚高峰使用，或切换至深度思考模式本地处理 Q2：如何导出对话记录？ 操作路径：网页版/APP 端点击对话历史→右键选择“导出为 Markdown” Q3：上传文件后 AI 无法识别内容？ 排查步骤： 1

DeepSeek-R1 社会和经济效益 ➢ 低成本高质量语言模型边界的探索，扩展的具体方法和侧重点改变：最初是模型规模， 然后是数据集规模，现在是推理时的计算资源和合成数据； ➢ 垂直领域和横向拓展：采用"API+本地化知识库"或"提示工程+检索增强"的混合方案， 通过Prompt Engineering和RAG等技术实现业务场景的快速适配与轻量定制，同时建立完 善的运维合规体系，确保数据处理全流程的安全性与合法性。