中国推理算力市场追踪报告,2025H1-沙利文| 2025/02 58% 49% 16% 26% 19% 8% 12% 5% 4% 3% 2023 2027 推理平台及应用部署偏好 设备端 边缘服务器 本地一体机部署 私有云 公有云 来源:沙利文、头豹研究院 中国推理算力:定义与服务覆盖范围 关键发现 推理算力主要负责AI模型的推理任务,主要用于处理和执行已经训练好的模型进行实 际应用。这包括执行推理任务、 能够高效执行模型推理任务,以 确保快速响应时间和稳定的服务。 但不一定需要与训练时相同的硬 件配置 。 推理型智算中心的硬件更注重处 理速度和可靠性。 推理算力定义范围 随着AI从训练为重走向推理为主,私有化环境及边 缘的部署需求都在迎来爆发。 ??????? ‘自行车’ 模型推理 Inference 模型权重 Model weights Forward 5 www.leadleo.com10 积分 | 12 页 | 1.12 MB | 1 月前3
金融垂类大模型试用体验【AI金融新纪元】系列报告(一)transformer 的 decoder-only 架构 ,提供 7B 、 13B 、 30B 、 70B 和 130B 五种版本选择 ,最大允许 32k 文本输入 ,支持 API 接口 调用、 网页嵌入、共建、私有化部署等能力 ,并为用户提供一站式标注和评测服务。 通用领域: HithinkGPT 大模型在 C-Eval 、 GSM8K 、 MMLU 、 MATH 等 10 多个主流 Benchmark 域应用场景,且针对于金融任务, 回答速度极快,准确率较高,并支持多种语言输入与输出。 2 )合规性、安全性高。充分学习中国的金融法律法规,在输出时符合中国金融市场的监管要求。 3 )轻量化。支持私有化 / 云部署以及灵活 API 调用,推理端仅需一机 2 卡部署。金融机构可以基于 LightGPT 通过私域任务数据定制化精调大模 型, 打造机构专属大模型,满足个性化需求。 图表:恒生电子 WarrenQ10 积分 | 25 页 | 1.60 MB | 1 月前3
金融与AI融合持续深化【AI金融新纪元】系列报告(四)-东吴证券员工培 训 / 数 据管理 持续深化存量使用场景并探 索新的业务场景 2025 年 2 月 泰康保险 DeepSeek 客户服务 / 销售 / 核保理赔 / 投研 / 员工培训等 在私有化大模型基础上建立 其保险行业垂直能力 2025 年 2 月 中国人寿 DeepSeek 客户服务 / 风控合规 / 投研等 开展数字员工体系,开发垂 直场景大模型 2025 年 2 合规 / 运营 / 投行等 深化多模态应用 2025 年 2 月 浦发银行 DeepSeek 数字员工助手 / 流程自动化等 全面展开数智化 5.2. AI+ 银行,自研模型 +DeepSeek 私有化部署浪 潮 数据来源:东吴证券研究所整理 数据来源:公司公告 发布机构官方微信公众号 东吴证券研究所 29 --" AI 大模型 创造收益 存量业务模块 新生业务模块 协助银行部署 AI10 积分 | 38 页 | 1.08 MB | 1 月前3
数字服务与数字运营的市场现状报告管理咨询 共创案例——人工智能训练森林话术萃取 咨询解决方案 - (森林技术) 话术森林萃取 专精 AI 知识库设计 个性化知识库 匹配知识维度 嵌入开发场景 模型定制训练 模型私有化 训练定制模型 “ 小模型”开发 专家话术萃取 头脑风暴共创 话术话素研究 四 色 话 术 凝 练 带 教 式 O J T 本 地 化 部 署 营销成功 7%---24%60 积分 | 48 页 | 12.97 MB | 6 月前3
AI 金融大模型的两条技术路线【AI金融新纪元】系列报告(二)月底恒生电子推出 WarrenQ-Chat 和 ChatMiner 两款大模型工具后, WarrenQ 上新 了 AI 写作、语音速记、小程序、招股书 / 公告深度问答四款新功能,并持续深入 私有知识库问答、智能投顾 / 投研 chat 助手等金融业务场景。目前, WanrrenQ 服 务于数家证券公司,覆盖券商投研、财富、投行、固收等业务系统,为业务人员提 供智能化的数据分析和交互技术10 积分 | 26 页 | 1.36 MB | 1 月前3
2025年智能金融:AI+驱动的金融变革报告-浙江大学(郑小林)2028年,预计将增长至131.79亿元。 来源《中国金融大模型市场追踪报告 2024H1》 ◼ 中国金融大模型部署市场 ➢ MaaS部署(开箱即用、按需付费)占52% 市场份额,引领中小型机构规模化应用; ➢ 私有化部署占48%,是大型金融机构首选。 中国金融大模型市场 浙江大学人工智能教育教学研究中心 中心 智能教育教学研究中心 大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心 浙江大学人工智能教育教学研究中心10 积分 | 45 页 | 7.21 MB | 1 月前3
金融行业银行客户经理基于DeepSeek构建AI Agent智能体应用方案(237页 WORD)2. 销售区域限制条款验证 3. 所需披露文件的完整性检查 数据治理框架 采用三层数据隔离架构确保合规性(见表 1): 层级 数据类型 处理方式 保留期限 L1 身份核验数据 加密后存储于银行私有 云 遵循属地监管要求 L2 交易行为数据 脱敏处理后用于模型优 化 最长 36 个月 L3 会话记录数据 分布式碎片化存储 客户关系存续期+5 年 通过智能体的实时合规校验模块,在对话过程中自动拦截违规 万元。 2. 基础设施成本 云端部署方案:采用混合云架构,初期需配置 8 台 GPU 服务 器(A100×4/台)处理实时推理,年租赁成本约 320 万元。 本地化部署:若选择金融级私有云,需一次性投入硬件采购费 用 800-1200 万元(含容灾备份系统)。 3. 合规与安全成本 等保三级认证:包括渗透测试、加密模块采购、审计系统部 署,一次性投入约 150 万元。 银行客户经理智能体带来可信 数据流转、自动化合规审计及新型金融产品设计能力。以下是具体 实施方案: 一、智能合约驱动的自动化业务流程 通过部署以太坊企业版 或 Hyperledger Fabric 私有链,实现以下核心场景的链上自动 化: 1. 贷款审批流程 o 智能合约自动验证客户抵押物信息(链上存证) o 实时调取央行征信链数据(需申请节点权限) o 审批通过后自动触发放款指令 210 积分 | 247 页 | 2.05 MB | 1 月前3
电子AI+系列专题:DeepSeek重塑开源大模型生态,AI应用爆发持续推升算力需求,国信证券研究所整理 注: MMLU 是一种针对大模型的语言理解能力 的测 评,用以评测大模型基本的知识覆盖范围和理解能力。 开源 限制访问 私有 200 150 100 50 0 2022 2023 l 23 年 3 月以来, OpenAI 所发布的 GPT-4 已经具备了多模态理解和多类型内容生成的能力,使得 AI 真正具备了重0 积分 | 38 页 | 1.95 MB | 7 月前3
美国研究报告:2025数据中心市场 平衡前所未有的机会与战略风险在整个商业地产领域,不确定性依然存在。办公楼 领域的未来仍不明朗,工业领域在租金增长方面的 牛市正在减弱。持续的通货膨胀使得全球近4000亿 美元的资金闲置,这一数额是全球金融危机后所持 资金的两倍。 这笔资本被分配到私有高净值资产,如未交易的BR EITs和公开交易的SREITs,以及面临定价差和资本 成本问题的机构基金。随着投资者将租金增长置于 优先位置,数据中心成为2025年的一项关键关注点 。MSCI报告称,2024年的总销售量达到4204亿美0 积分 | 53 页 | 6.67 MB | 7 月前3
电子行业:AI大模型需要什么样的硬件?-20240621-华泰证券-40页大模型是云计算业务的“锚”,云厂商以大模型为重要底座,推动云计算业务 向 MaaS 转型。MaaS 是大模型厂商重要的商业模式,提供包括算力、模型、数据工具、 开发工具等多种服务。目前已有多家科技巨头将大模型能力部署在云端,或以私有化部署 方式提供给企业用户,以模型 API 调用费、模型托管服务费、按项目收费的定制化解决方 案等形式获得收入。海外,微软推出了 Azure OpenAI,谷歌推出了 Vertex AI,英伟达推出0 积分 | 40 页 | 2.60 MB | 7 月前3
共 10 条
- 1
