2025年构建多技术融合的湖仓一体化平台,打造银行数据智核新引擎报告构建多技术融合的湖仓一体化平台 打造银行数据智核新引擎 陕西农信湖仓一体建设实践 数字化转型取得积极成效,形成数字金 融和科技金融、绿色金融、普惠金融、 养老金融协同发展的良好局面。 做好数字金融大文章 目录 项目背景 01 项目方案 创新点及技术实现特点 02 03 04 运营分享 01 项目背景 主要内容:立足自身实际与发展定位,制定推动陕西农信高 质量发展的数字金融战略框架。 难以敏捷高效地支撑业务发展,陕 西农信开展湖仓一体化平台技术预 言及建设工作。 演进路线(一) 结构化数据 贴源 模型 集市 BI 报表 集市 半/半结构化数据 历史 归档 实时 计算 数据仓库 BI 报表 数据湖 结构化数据 贴源 模型 集市 BI 报表 集市 半/半结构化数据 历史 归档 实时 计算 湖仓分体 数据探索 机器学习 结构化数据 模型 模型 集市 BI 报表 集市 半/半结构化数据 湖仓一体 — 湖内建仓 数据探索 机器学习 结构化数据 模型 集市 BI 报表 集市 半/半结构化数据 湖仓一体 — 湖仓分体 数据探索 机器学习 实时 计算 流批 一体 贴源 归档 湖仓分体,数据仓库与数据 湖分离搭建,通过数据交换 平台完成数据同步。 特点: (1)双路建设,双路加载, 耦合度低 (2)互不依赖,使用独立,10 积分 | 21 页 | 3.74 MB | 10 月前3
物联云仓:2025年第一季度全国高标仓市场报告10 积分 | 44 页 | 13.27 MB | 10 月前3
智慧教育解决方案(湖山)湖山智慧教育解决方案 www.china-hushan.com 一大 两高 三全 建成“互联网 + 教育大平台” 信息化应用水平和师生信息 素养普遍提高 教学应用覆盖全体教师 学习应用覆盖全体适龄学生 数字校园建设覆盖全体学校 教 育 信 息 化 2.0 01 教育信息化历程 粉笔 + 黑板 枯燥的表现形式 陈旧的教学方式 90 年代之前 扩声 + 投影显示 音视频、校园监控) 一键切换模式(包含: 互动、音视频发布、 巡课) 一键控制(包含:强 弱电控制、视频切换、 录制直播、音频调 节) hu 02 智慧教育整体架构 本地录播 SIP 双流呼 叫 湖山物联平台 02 智慧教育整体架构 本地录播 SIP 双流呼 叫 研讨型智慧教室( VR ) 02 智慧教育整体架构 本地录播 SIP 双流呼 叫 02 智慧教育整体架构 本地录播10 积分 | 24 页 | 10.01 MB | 10 月前3
哪吒科技:SelectDB实时数仓在智慧港口中的应用实践哪吒科技: SelectDB 实时数仓在智慧港口 中的应用实践 邓宇超 哪吒科技 数据平台负责人 邓宇超 哪吒科技-数据平台负责人 曾就职于趣头条、观安信息 丰富的大数据开发及架构经验 分享嘉宾 - 哪吒科技 目录 哪吒科技数仓发展历程 01 实时数仓技术选型与架构 02 实时数仓在智慧港口的实战应用 03 收益与展望 04 01 哪吒科技数仓发展历程 图例说明 上海 哪吒科技业务介绍-产品&服务 1.3 哪吒科技数仓发展历程 业务场景:智慧港口全生命周期与全 解决方案(SMART 系列) 数仓能力:SelectDB 统一实时数仓 挑战:复杂场景、查询效率 业务场景:数据驱动码头作业 数仓能力:混合架构下数据整合与 分析赋能 挑战:开发效率、维护成本、实时 性 业务场景:港口运营数据枢纽 数仓能力:单业务单场景数据整合 与决策赋能 挑战:数据融合性、实时性 挑战:数据融合性、实时性 第二阶段 第三阶段 第一阶段 1.4 哪吒科技数仓架构演变(V1.0) 图:1680*640 1.5 哪吒科技数仓架构演变(V2.0) 1.6 哪吒数仓应用场景面临的挑战 应用场景 时效性要求 数据特点 面临的问题 RTG 效率分析(堆场机械效率 分析) 离线跑批(H+1) 数据维度复杂,下钻层次多 存在异常数据,数据不准, 任务资源占用高 某码头交接班分析10 积分 | 30 页 | 9.37 MB | 4 月前3
高淳固城湖度假区智慧旅游项目解决方案(156页WORD)20 积分 | 179 页 | 22.03 MB | 5 月前3
匹配低空应用场景的重庆大数据湖一体化平台建设探索与实践1 匹配低空应用场景的重庆大数据湖一体化平台建设探索与实践 【摘要】低空数据交易呈现“政策+技术+场景”协同发展态势。国家层面目前在加 速推进数据确权与交易标准制定,明确低空数据作为新型生产要素的战略定位,福 建、广东等试点地区探索跨境流通机制。技术层面依托区块链存证、智能合约等技术 实现飞行轨迹、气象信息等实时数据的脱敏处理与秒级交易,数智低空大脑系统推动 数据清洗效率提升 60%。 据分散,导致管理决策缺乏全面、准确的数据支持。建设大数据湖一体化平台,实现 数据的统一管理和智能监管,成为提升管理决策水平的必然选择。 技术融合机遇为平台建设提供了有力支撑。5G + AIoT 技术的成熟,使得新型数 据架构成为可能。高速、稳定的 5G 网络为数据的快速传输提供了保障,AIoT 技术则 实现了设备的智能化连接和数据的自动采集,为大数据湖一体化平台的建设奠定了技 术基础。 产业协同 产业协同要求也促使平台建设加速推进。在物流、交通等场景中,跨层级的数据 共享机制至关重要。通过建设大数据湖一体化平台,打破数据壁垒,实现数据的共享 与协同,促进产业的协同发展。 三、平台建设顶层设计框架 3.1 核心建设目标 构建「四智一体」支撑体系,旨在全面提升低空产业的数据处理和应用能力。场 景数据智能化通过建立动态数据湖容量扩展机制,能够根据业务需求的变化,灵活调 整数据存储和处理能力,确保数据的高效利用。10 积分 | 9 页 | 863.80 KB | 1 月前3
保险数据中台解决方案中电金信保险企业级数据中台解决方案方案基于中国电子金融级数字底座“源启”的核心平台之一“源启”数据资产平台”, 借鉴业内经典数据模型建设理念,实现了数据的汇聚、整合与加工,完成统一数据湖以及双层主题域数仓模型的构建,搭建了 湖仓一体数据架构,全面整合内外部数据,实现全域数据统一管理,统一集中开发,统一融合分级共享,实现多个应用服务, 沉淀通用数据资产与专业数据资产,建立数据资产目录,提供全面的数据资产 模型建设理念,实现了数据的汇聚、 整合与加工,完成统一数据湖以及双层主题域数仓模型的构建。 【项目成果】 1、统一的数据管理和开发 通过数据的汇聚、整合与加工,构建了统一的数据湖以及双层主题域数仓模型,这使得实现全域数 据的统一管理、统一集中开发、 统一融合分级共享,进一步提升数据的应用效率和价值。 2、湖仓一体的数据架构 基于 One Data 完成了四大能力建设,搭建湖仓一体的数据架构,这种架构的设计,能够全面整合集10 积分 | 2 页 | 609.60 KB | 3 月前3
华为大数据中台架构分享(24页 PPT)运输– 连接承运商和货主 预测性运输 按需送达 带感应器的 装车垛口 实时的路径 规划 车辆追踪 与 LSP 管 理 数字化的运输跟踪 智能眼镜验收捡料 RFID Scanner 拣 国家仓 连接 连接 感知式存储 客户 工厂 自动线体 AS/RS DC 作业 接 连 超过 60% 计划或已经建立数据管理委员会 From 信通院、艾瑞咨询:预计到 2020 年,大数据软件市场规模将达 统一数据资产中心 统一数据采集 现网烟囱数据 IT 系统 生产数仓 数据采集 销售 预测 客户 分析 运营 生产 建模 分析 建模 挖掘 建模 分析 数据采集 辅助 运营 系统 销售数仓 客服 应用 应用 系统 新业务 客服数仓 客服 销售 生产 数据中台背景洞察 华为数据中台顶层 设计 华为云数据中台解决方案 DAYU 持续沉淀业务规则、算法、模型 • 建设公共数据服务, 减少重复开发 完整、清洁的逻辑数据湖 • 统筹推动、以用促建,急用先行 • 为数据中台提供一站式“原材料” • 汇聚各业务源系统数据,清洗 / 注册数据资 产 数据中台建设框架: 1 )以业务数字化为前提,数据入湖为基础 ,建设 数据资产中心; 2 )打造能高效承载数据中台建设的数据运营平台能力 中心 满足自助、智能的数据消费10 积分 | 25 页 | 2.09 MB | 3 月前3
制造业数字化转型全解决方案核心边缘计算硬件 神经 物联网 History Time-series Relational Log DB Object DB 新型时序数据库 数字孪生 智能增强的工业机理 血液 大数据 数据湖 数据建模 高级数据分析 IT Data OT Data Social Data 描述分析 诊断分析 预测分析 规范分析 后验 洞察 预见 智慧 大脑 AI 智能感知 AR/VR 基础设施全球化规划 云架构(公 / 私 / 混合)规划 基础设施与云 数字化技术咨询 智能供应链 数字化客户经营 数字化整合营销 智能化服务转型 数字化新业务模式 大数据应用规划 数据体系与数据湖架构 物联网应用规划 物联网与边缘计算架构 AI 业务应用规划 企业级 AI 平台架构 特定业务系统智能化重构 统一数字化平台架构 数据治理 平台治理 IT 系统架构 数字化组织文化与管理变革 生产计划及排程 运输优化 定价管理 25 2.1.1 库存优化为客户带来的关键价值 库存优化的不同层级 战略层优化:分仓网络设计 战术层优化:需求计划与库存管理 中央仓 大区域仓 大区域仓 消费者 小区域仓 门店 小区域仓 小区域仓 小区域仓 门店 门店 运营层优化:门店配补货优化 先进的需求预测引擎 提供丰富的预测模型,覆盖时间序列、机器学习 和深度学习等功能,模型可以定期重新自动调参20 积分 | 120 页 | 25.41 MB | 4 月前3
陈玉强-中原银行实时风控体系建设实践(23页 PPT)(Flink) 业务 系统 外部数据平台 指标引擎 规则引擎 实时风控 实时特征 工程 模型引擎 离线特征工程 机器学习平台 数据服务平台 离线数仓 模型训练 模型推理 指标 API 数据 API 数据湖 #1 #2 #3 #4 建设背景 选型 & 架构 疑 高 危 机器 / 深度学 习 模型 营销模型 申请模型 交易模型 智策平台 机器学习平台 离线特征工程 离线数仓 (GaussDB) 数据服务平台 外部指标缓存 ( HBase ) 零售电子 渠道整合 系统 技术架构:反欺诈 数据湖 (Hudi 、 Iceberg) 实时计算平台 (Flink) 交易线 数据 知识图谱 API (ArangoDB) 贷前 机器学习平台 离线特征工程 贷中 / 贷后指标 ( HBase ) 机器学习模型 调用 技术架构:授信 数据湖 (Hudi 、 Iceberg) 贷前:实时指标 业务 系统 外部数据平台 内外指标计算 规则引擎 贷前授信 离线指标 离线数仓 (GaussDB) 模型引擎 模型编排 (DAG) 数据 线 交易线 数据服务平台 模型训练 模型推理10 积分 | 23 页 | 34.72 MB | 4 月前3
共 982 条
- 1
- 2
- 3
- 4
- 5
- 6
- 99
