MatrixDB：数字汽车和工厂大脑实践 姚延栋 创始人 &CE O yandong@ymatrix.cn 北 京 四 维 纵 横 数 据 技 术 有 限 公 司 Confidential 1 关于我 姚延栋 • MatrixDB 创始人 • Greenplum 北京研发中心负责人（ 2010-2020 ） • Greenplum 譬如同一个应用 同一个机床 同一辆车 静态属性 静态属性 静态属性 静态属性 │ ©202 四维纵 横 Confidential 1 什么是时序数 据 │ ©202 四维纵 横 12 Confidential 1 时序数据建 模 三种数据建模方式： 1. 窄表模式 2. 宽表模式 3. 树形模式 传统方案造成复杂、低效、孤岛化的现 状 • 多种数据产品、孤岛化严重；穿墙打洞、复杂低效；数据质量参差不齐 • 70% 企业结果是投了钱，疗效低（ Gartner 报告） Matrix DB ：高性能超融合数据库 历史原因造成纷繁复杂、低效 让数据回归应该有的样子！ Confidential

全的出行体验。 第二，车家互联——以智能车为家庭空间的延伸，打破车和家的资源壁垒。 传统车机受系统生态限制，娱乐资源库规模有限，难以满足户外露营、长途旅行时的高品质影音需 求。通过打通车家跨域互联通路 , 可实现车机与家庭 NAS 的稳定连接，访问 NAS 私有媒体库，适配 4K/8K 高清视频，同时支持远程访问办公文件、备份照片，摆脱车机本地资源依赖，将车内空间升级 为移动私人影院。 首先，针对敏捷的意图感知，通过统一的数字身份管理、实时的终端态势感知、交互式端网任务管理， 为快速的目标确认创造前提条件；其次，针对快速的目标确认，接收终端或应用发起的专网任务需求， 基于 AI 辅助模型库实现需求意图识别、网络任务规划 / 生成 / 决策、服务链编排；最后，针对动态 的智能互联，通过动态群组创建、智能数据互通、跨网跨域融通，从规则预先配置升级到规则动态派生， 实现端 - 网 - 云一体化实时协同，实现差异化体验专网。 书的观点形成和编写提 供了有力的支撑，后续本白皮书将根据技术演进和业务实践适时修订。 联合发布单位（排名不分先后）：中移智库、中国移动通信研究院、华为技术有限公司、中兴通讯 股份有限公司、武汉理工大学、中国移动通信湖北有限公司。 编制单位（排名不分先后）：中移智库、中国移动通信研究院、华为技术有限公司、中兴通讯股份 有限公司、武汉理工大学、中国移动通信湖北有限公司。

建设原则 6 .4 需求分析 7 第 2 章 总 体 设 计 9 . 9 .1 总体架构 9 .2 建设内容 9 第 3 章 数 据 接 入 11 . 11 . 11 . 11 .1 接入内容 11 .1.1 项目数据 11 .1.2 市场参与主体数据 11 19 第 4 章 数 据 存 储 20 . 20 .1 基础库 20 .2 主题库 21 .2.1 建立完善行业大数据技术标准 21 .2.2 项目库的建立 21 .2.3 投资人数据库的建立 22 .2.4 产权交易机构资源库的建立 23 .3 分析库 24 .4 索引库 24 第 5 5 章 数 据 处 理 25 . 25 .1 分布式计算框架 25 .2 内存计算框架 25 .3 流式计算框架 26 .4 分析引擎 26 .4.1 垂直搜索 26 .4.2 信息挖掘 27 .4.3 数据比对 27 .5 人工智能 27 第 6 章 数 据 管 理 29

............................................................................34 3.4.1. 数据源层(DSR)-业务库.................................................................................................... ...... 34 3.4.3. 摄取缓冲层(STG)-摄取库....................................................................................................................35 3.4.4. 数据操作层-原始库(ODS)........................... ..............................................................................36 3.4.5.1. 数据明细层-资源库(DWD)...............................................................................................

十四五规划正式发布， 大数据发展已融入到 各章节 深化阶段 落地阶段 大数据已上升为国家战略，促进实体行业发展 《关于新时代加快完善社会主义市场 经济体制的意见》提出“加快培育发 展 数 据 要 素 市 场 ” 酝酿阶段 十九届四中全会 首次公开提出“数据可作为生产 要素按贡献参与分配” 《关于构建更加完善的 要素市场化配置体制机 制的意见》数据被正式 列为新型生产要素 国务院发布《关于构 数据中台建设企业数字化转型必由之路 拥有比较完善的配 套机制，包括企业 战略、组织文化、 数据部门成熟度等。 业务既不是完全一 成不变，也不会有 颠覆性变化，且业 务线之间有所关联。 已经或未来较短时 间内有大量业务数 据积累，对数据资 产价值转化需求高。 多条产品线或横跨 多业态，呈多元化 经营，各部门需对 各条线做分析决策。 组织结构复杂，跨 部门协作障碍严重， 已经显著影响到企 业深度发展。 信息化已达较高水 异构 数据 各类 应用 经营 分析 系统 数据湖生态组件 数据资产管理 标签管理 数据中台整体能力 数据中台 整体能力 统一 标签 系统 关系 型数 据库 领导 驾驶 舱 第 8 页 日志 数据 整库同步 Topic 管理 API 管理 实时同步 消息 中间 件 CNP BC-Lakehouse 云 HBase 云 Kafka 租户管理 数据标准

生 流域 物理 流域 GISTC 水利知 历史场 业务 识图谱 景模式 规则 水利知识引擎 流域防洪 水资源管理与调配 N 项业务 数 据 驱 动 现实世 界 决 策 支 持 网络 安全 体系 数字 孪生 平台 保障 体 系 数字模拟仿真引擎 水利 专业模型 知识 平台 模 型 平台 可视化 模型 专家 经验 、数据采集能力构建 空 间 数 据 获 取 精细三维模型 DOM/TDOM 倾斜摄影三维模 型 DEM/DSM BIM 数据采集 数据成果 GISTC 无人机 P13 解决核心问题：多标准、多协议物联数据到标准化数据应用构建方法 ! 数据库链接 API 网关 网络爬虫 射频技术 传感器传输 一 、数据采集能力构建 python 爬虫 非 空 间 数 据 获 取 物联中台 物联中台 GISTC 物联 网数 据库 数据 中台 P14 在 L1 至 L3+ 三维场景下，针对不同的要素采用不同的表达方式 解决核心问题：构建一套基于业务应用导向的可扩展、标准化水利数据资源体系 ! 地理空间数据 数据资源 监测数据 其 基 数 据 据 数 管 理 对 象 础 基 水 情 监 测 R 他 i t

存储计算 数据组织 Data 1.0 、 Data2.0 “ 描述过去，看结果； 看了，然后呢” 报表 明确 业务（决策） IT （实施） 面向业务人员 的辅助决策 数据库选型： Oracle 、 Mysq 等 面向业务主 题的指标体 系 报表 明确 业务（决策） IT （实施） 面向业务人员 的辅助决策 数据仓库选型： Teradata 化到数据应用的工作效率， • 解决了因组织迅速膨胀、 推动现有业务的优化和新 员工众多造成的管理不 善和效率低下问题 业务的开展。 • 降低数据计算成本与数 据存储成本。 • 降低因大量重复建设及 数据体系不一致等导致 的人力成本的浪费。 • 将数据当成一种必须产 生价值的资产加以构建 和管理 • • 看似没有关系 的数 据进行连接，构建基础资产体系，形成全新的数据视角； l “ 存”：数据一旦形成一个价值点，通过数据应用实现数据的流动交 互， 从而使更多的数据被存储上来，并形成“活”的数据，源源不断 供应到 平台中； l “ 算”：通过吸引更多的数据实现数据资产体系的逐步完善，寻找更 多的 业务应用场景， 进行数据的深度挖掘计算，建立数据应用闭环， 数 据越用越有价值； 注：数

全量、增量 文件式存储 离线数据存储 实时数据存储 字段标准化 代码标准化 标准制定 资源库 主题库 专题库 查询服务 订阅服务 比对服务 应用 数据源 数据汇聚 数据存储 数据标准 数据融合贯通 数据服务 存 通 聚 规 服 （数据资 产） （数 据） 数据中台 方案架构 方案构成 - 数据管理 数据管理： 通过数据源管理、数据对标、资源目录、质量管理等全方面对用户数据进行补充。 时发现、检测、定位、跟踪各类数据问 题，形成规范化的数据质量监控、处理 机制，以保证数据质量的稳定可靠。 数据源管理是对数据中台中的数据源进行添 加、删除、管理。分为数据库、数据表、批量 复制三个模块。用户可以通过该模块添加管理 数据中台中的所有数据库表信息、文件类信 息、数据接口信息、消息队列等数据源。 通过系统内置标准数据元，快速对接入 数据中台的数据表进行数据元、代码集 对标，并且可以通过自动对标、对标参 ：主要针对数据复杂多变、质量不齐、价值低、不可用的数据，通过数据融合、数据计算变成可用的数据资产。 数 据 资 产 数据复用性差 7 特点： l 支持多种方式 ：包含向导模式、脚本模式、标签模式等，满足 不同的场景 l API 管理 ：数据服务支持服务发 布、下架、编辑等 l 支持可视化配置：将各类数据库中的数据表快速生成服务 l 支持标准 SQL 编写：支持标准的 SQL 查询语句生产脚本，支

..........................................................................101 10.4.2. TongDbSvr 数据库服务化................................................................................................. 色，大数据平台的核心是为业务应用提供有业务价值的数据服务。所以度量和运营数 据服务的能力是大数据平台的业务能力。 大数据平台应该能够对提供的数据服务及相关行为做持续跟踪和记录，包括哪些 数据服务被哪个部门使用、用了多少次等，通过这些去度量每一个数据服务的业务价 值，然后实时地根据这些业务价值数据去提醒数据服务提供方，调整、改变、优化数 据服务，这才是可经营的大数据平台，也只有这样业务部门才能得到最快的支持和响 ，从而避 免信息化工作人员在数据层面系统功能的重复设计、开发工作，也能够为当期和未来 所有的信息化建设提供数据赋能。 3）采集治理体系：数据采集治理体系主要包括数据资源摸底调研、制定单位数 据标准、数据采集清洗转换、建立数据仓库等数据采集治理工作，帮助单位建立起一 套权威的数据标准、全局统一的数据仓库，从而保证对于核心数据资源的积累，真正 保障数据资源的准确性和权威性，确保单位核心数据资源在其全生命周期保持全面、

.......................................................................................586 5.3 客户标签库.................................................................................................... X86 服务器的大数据集群， 实现了 B 域的全量数据接入、O 域及 M 域部分数据（Gn、Mc 口信令数据）的 采集和处理，总存储量达到 1.12P。 平台架构采用 Hadoop、MPP 数据库混搭模式。 对内实现了对领导决策、一线支撑、智能营销方面的应用，提高了业务部 门效率与体验。 对外与南山集团、山东航空公司、山东省人力资源和社会保障厅等重点单 位建立合作关系，探索基于大数据的项目合作。 一管理、统一运营、统一服务。 “资源共享、按需服务”为集团各部门、专业基地、专业公司以及各省公司 提供灵活、按需的大数据服务。 “互联网思维+生态圈”引入互联网思维，提升产品化能力，构筑促进大数 据良性发展的生态圈。 企业级大数据平台两级架构如下图所示： 图-企业级大数据平台两级架构 企业级大数据平台技术规范 1.0 是在 NG2-BASS5.0 基础之上演化编制而 来，目的是企业级省