工业大数据采集处理与应用方案(206页 PPT)

微信扫码，打开到小程序

工业大数据采集、处理与应用 一、了解工业大数据 二、工业大数据采集 三、工业大数据预处理 四、工业大数据建模 五、工业大数据分析 六、工业大数据可视化 七、工业大数据应用 课程目录 一、了解工业大数据  大数据的特征  工业大数据的主要来源、特点、分类，数据的应用场景  工业大数据平台架构、主要技术 知识目标 技能目标  能够分析生产企业的数据来源、数据类型、数据规模  能够阐述工业大数据的主要应用场景  能够阐述工业大数据平台的基本组成  掌握安装部署大数据平台 Hadoop 的方法 学习目标 一、了解工业大数据 • 什么是大数据 • 大数据的特征 • 数据的类型 • 数据规模的度量 • 工业大数据的来源 • 工业大数据的特征 • 工业大数据实例 • 工业企业运行流程 • 工业大数据分类 • 工业大数据应用场景 • 工业大数据应用类型 • 工业大数据应用实例 • 静态数据和流数据 • 批量计算和流式计算 • 工业大数据架构 • 分布式计算框架 Hadoop • 分布式文件系统 HDFS • 分布式文件系统 HDFS （一）认识工业大数据特征 （二）了解工业大数据及应用分类 （三）认识工业大数据系统架构 什么是大数据（ Big Data ）？ 麦肯锡： 大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。 维基百科 : 大数据指的是所涉及的数据量规模巨大到无法通过人工在合理时间内达到截取、管理、处理、并整理成为 人类所能解读的信息。 研究机构 Gartner ： 大数据是需要新处理模式才能有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息 资产。 …… 归纳：海量数据集合，已经无法用传统的技术手段和工具进行查询、分 析和挖掘，需要采用新计算模式和技术。 一、了解工业大数据 大数据 4V 特征 规模性 （ Volume ） • 规模大 • 增量快 多样性 （ Variety ） • 来源多 • 类型多 价值性 （ Value ） • 可挖掘 • 有价值 高速性 （ Velocity ） • 采集快 • 处理快 大数据的特征 《大数据时代》 [ 英 ] 维克托迈尔 - 舍恩伯格 , 肯尼斯克 耶 一、了解工业大数据 Volume Velocity Variety Value 4V 大数据的特征——规模性 数据呈现爆发性增长 IDC 估测，数据一直都 在以每年 50% 的速度 增长，即每两年就增长 一倍 一、了解工业大数据 大数据的特征——规模性 数据呈现爆发性增长 一、了解工业大数据 大数据的特征——高速性 数据产生速度快 微信、抖音…… 传感器 一、了解工业大数据 大数据的特征——多样性 一、了解工业大数据 大数据的特征——价值性 一、了解工业大数据 数据背后隐藏有巨大价值，可以 通过数据挖掘、机器学习等方法 深度分析，从各种各样看似不相 关的数据中挖掘出有价值的数 据，从而创造更大的价值。价值 性比数量规模更为重要。对于很 多行业而言，如何利用这些大规 模数据是成为赢得竞争的关键。 数据类型：结构化数据 序号 设备名称 计划采购数 备注 1 电脑裁线机 5 切线设备 2 静音端子机 2 压线设备 3 拉脱力测试仪 4 检验设备 … … … … 结构化数据示例 一、了解工业大数据 数据类型：非结构化数据 非结构化数据 视频 语音 图像 图形 文本 mp4,mov,asf,avi… mp3,wma,wav,ogg… jpg,png,tiff… txt…… 一、了解工业大数据 数据类型：半结构化数据 半结构化数据 --XML 示例 <?xml version="1.0" encoding="UTF-8"?> <person> <name> 张三 </name> <age>13</age> <gender> 男 </gender> </person> 一、了解工业大数据 数据类型：半结构化数据 半结构化数据 --JSON 示例 {"name": " 张三 ", "age": 18, "address": {"country" : "china", "zip-code": "10000"}} 一、了解工业大数据 数据规模的度量单位 bit ： 位。一个二进制位为 1 个 bit Byte ：字节 1B = 8bit KB （ Kilo byte ） 1KB = 1024 B MB （ Mega byte ） 1MB = 1024 KB GB （ Giga byte ） 1GB = 1024 MB TB （ Tera byte ） 1TB = 1024 GB PB （ Peta byte ） 1PB = 1024 TB EB （ Exa byte ） 1EB = 1024 PB ZB (Zetta byte) 1ZB = 1024 EB YB (Yotta byte) 1YB = 1024 ZB BB (Bronto byte) 1BB = 1024 YB 一、了解工业大数据 数据规模的度量单位 数据规模的直观举例 TB 10 的 12 次方 1 块 1TB 硬盘 200,000 照片或 MP3 歌曲 PB 10 的 15 次方 2 个数据中心机柜 16 个 blackblae pods 存储单 元 EB 10 的 18 次方 2000 个机柜 占据 1 个街区的 4 层数据中心 ZB 10 的 21 次方 1000 个数据中心 纽约曼哈顿思维 1/5 区域 YB 10 的 24 次方 一百万个数据中心 特拉华州和罗德岛州 一、了解工业大数据 工业大数据的来源 （ 1 ）企业内部信息化数据 • 企业产品数据管理系统（ PDM ） • 企业资源计划系统（ ERP ） • 制造执行系统（ MES ） • 产品生命周期管理系统（ PLM ） • 供应链管理系统（ SCM ） • 客户关系管理系统（ CRM ） • 质量检验系统（ QC ） • 办公自动化系统（ OA ） • …… 一、了解工业大数据 工业大数据的来源 （ 2 ）工业互联网数据 一、了解工业大数据 工业大数据的来源 （ 3 ）外部数据 • 行业信息 • 市场变化 • 合作伙伴、竞争对手 • 气候变化、生态约束 • 政治事件、自然灾害 一、了解工业大数据 分类 系统类型 典型数据文件 / 系 统 数据结构 数据特点 实时性 企业管理信息 产品设计资料 产品模型、图纸文 档 半结构化 非结构化 类型各异、更新 不频繁 非实时 生产流程管理 制造执行系统的排 程、工单、质检资 料 结构化 半结构化 没有严格的时效 性要求、需要定 期同步 非实时 价值链管理 供应链管理、客户 关系管理的供应商、 客户、合作伙伴、 客服等资料 半结构化 非结构化 没有严格的时效 性要求、需要定 期同步 非实时 资源管理 企业资源计划、仓 库管理、能源管理 系统的生产计划、 库存等 结构化 没有严格的时效 性要求、需要定 期同步 非实时 企业办公管理 自动化办公系统的 办公文档、人力资 源等资料 结构化 半结构化 非结构化 没有严格的时效 性要求、需要定 期同步 非实时 企业生产信息 工业控制系统 分散控制系统、可 编程控制器 PLC 结构化 需要实时监控、 实时反馈控制 实时 生产监控系统 数据采集与监视控 制系统 结构化 需要实时监控、 实时反馈控制 实时 各类传感器 外挂式传感器、条 码、射频识别 结构化 包含实时数据和 历史数据 实时 其他外部装置 视频摄像头 非结构化 数据量大、低延 时、要求网络带 宽和时延 实时 外部信息 外部数据 （互联网、外部系 统等） 相关行业、法律法 规、市场数据等 半结构化 非结构化 数据相对静止， 变化较小、定期 更新 非实时 工业大数据的来源 常见工业数据源 一、了解工业大数据 工业大数据的特征 • 时序性 来自控制器、传感器和其他智能感知设备，采样得到的这些数据通常都是有时间 顺序的，是一组时间序列数据。 • 实时性 实时监测、实时预警、实时控制。采集的数据具有实时性的要求。 • 高通量 数据吞吐量大，产生的频度高。 • 高纬度 一个事务有大量不同描述角度的数据。 • 多尺度 同一对象有多种不同的描述尺度。 • 高噪性 存在漏读数据、误差数据。 除了具有大数据的 4V 特征外，工业大数据还具有以下特征： 一、了解工业大数据 数据规模计算举例 • 某机床制造企业 应力、表面温度、传输压力、传输流量等数据 以单车间 1,000 个采集传感器来计算，平均每 20 秒上报一次数据， 数据包大小以 200KB 为平均量，那么单个车间每天产生的数据量是多少？ 数据量 / 天 = 1,000 个传感器 * 200KB/ 个传感器 * 24 * 60 分钟 * 3 次 / 分钟 一、了解工业大数据 数据规模计算举例 • 某炼铁企业 PLC 生产操作数据、工业传感器产生的检测数据、现场的各类就地仪表的数据 等。整个炼铁大数据平台接入约 200 座高炉的数据。 以单座高炉为例，每个高炉约有 2,000 个数据点，数据采集频率为 1 分钟一 次，每座高炉产生的采集的数据点约为 288 万点 / 天、数据大小约为 200MB/ 天。 每天产生的数据量是多少？ 采集的数据点量 / 天 · 座 =24 * 60 分钟 * 2000 点 / 座 · 分钟 数据量 / 天 = 200 座 * 200MB/ 座 · 天 一、了解工业大数据 一、了解工业大数据 工业企业运行流程 一、了解工业大数据 制造企业活动示例 一、了解工业大数据 工业大数据应用场景 一、了解工业大数据 • 什么是批量计算和流式计算？ 流式计算 批量计算 一、了解工业大数据 工业大数据体系架构 一、了解工业大数据 分布式计算框架： Hadoop • 分 布 式 计 算 MapReduce • 资 源 调 度 Yarn • 数 据 存 储 HDFS Apache Hadoop 组成 一、了解工业大数据 分布式文件系统： HDFS 一、了解工业大数据 分布式计算框架： MapReduce 一、了解工业大数据 分布式计算举例 -- 排序 一、了解工业大数据 拓展知识：大数据技术框架模型 一、了解工业大数据 拓展知识：大数据技术框架 一、 二、工业大数据采集 三、 四、 五、 六、 学习目标 二、工业大数据采集 1 ．认识工业现场网络，了解工业数据的采集方式； 2 ．掌握工业数据采集系统的部署方法； 3 ．能够阐述工业数据的采集方式； 4 ．能够根据业务要求完成 PLC 数据的采集与存储； 5 ．能够根据业务要求完成 PTL 数据的采集与存储。 机器设备数据 工业 大数据采集 产品设计数据 生产流程管理 数据 资源管理数据 …… 结构化数据 半结构化数据 非结构化数据 工业数据釆集又称数据获取，是将工业数据自动及主动采集的过程，其目标是从企业内部和 外部数据源中获取各种类型的数据，获取的有效数据信息是工业大数据处理、分析和应用的基 础。 基本概念 二、工业大数据采集 工业大数据囊括了整个产品全生命周 期各个环节所产生的各类数据，包括产品设 计资料、产品生产流程管理数据、资源管理 数据、生产过程数据等，其产生的主体是人 和工业设备，相比于其他大数据，工业大数 据结构化数据更多，相关性和实时性也更 强。 相关知识 二、工业大数据采集 工业大数据 •设备层 •控制层 •车间层 •企业层 •协同层 上海产业技术研究院工程大数据服务创新中心提出的工业大数据参考架构 从物理域的角度，工业大数据架构将企业自下而上划分为 5 层： 工业大数据架构 二、工业大数据采集 生产制造过程中产生的主要数据 设备层 控制层 车间层 企业层 协同层 现场传感器 仪表 工业机器人 …… PLC CNC DCS …… MES （作业过程管理、数据管理、工艺管理、质量管理）等 产品设计数据 企业管理数据 客户关系管理 …… 网络化协同制造 生产资源共享 客户关系管理 …… 相关知识 二、工业大数据采集 工业现场网络 现场总线网络 如果将现场总线看作一种局域 网，工业现场设备或高级控制系统即 为网络节点，通过双绞线或光纤等传 输介质建立连接后，可实现工业现场 设备（智能化仪器仪表、控制器、执 行机构等）间的数字通信，以及现场 控制设备与高级控制系统之间的通 信，为实现企业信息集成和企业综合 自动化打下了基础。 ControlNet Profibus 控制层 设备层 现场总线是一种工业数据总线，属于自动化领域中的底层数据通信网络，能够将现场传感器、控 制器等的模拟量或数字量信号，转换成双向数字通信的现场总线信号，具有简单、可靠、经济实用等 优点。 二、工业大数据采集 现场总线符合 IEC61158 标 准 ， 与 计 算 机 网 络 普 遍 采 用 的 IOS/OSI 参考模型相比较，现场总 线网络模型只规定了应用层、数据 链路层和物理层。 现场总线网络模型 应用层 表示层 会话层 传输层 网络层 数据链路层 物理层 应用层 表示层 会话层 传输层 网络层 数据链路层 物理层 应用层 数据链路层 物理层 应用层 数据链路层 物理层 发送方 接收方 发送方 接收方 IOS/OSI参考模型 现场总线网络模型 1 2 3 4 5 6 7 工业现场网络 二、工业大数据采集 工业以太网 以太网技术引入工厂设备底层， 并将特殊工业协议封装在以太网协议 中，自此就产生了工业以太网。 EtherCAT, Profinet, Modbus 等 工业现场网络 二、工业大数据采集 工业以太网的优点 01 02 03 04 兼容性好 以太网是一种标准的开放式网络，方便不同厂商 的设备的互联互通，实现控制系统中不同厂商设 备的兼容和互操作的问题，也能实现办公自动化 网络与工业控制网络的信息无缝集成。 通信速率高 目 前 以 太 网 的 通 信 速 率 为 10M 或 100M ， 1000M 、 10G 的快速以太网也开始应 用，其速率比目前的现场总线快得多，可有效满 足对带宽的更高要求。 通信速率高 目 前 以 太 网 的 通 信 速 率 为 10M 或 100M ， 1000M 、 10G 的快速以太网也开始应 用，其速率比目前的现场总线快得多，可有效满 足对带宽的更高要求。 易于共享资源 随着 Internet/Intranet 的快速发展，以太网已渗 透到各个角落，网络上的用户能够在任何地方实 现对企业控制现场数据的监控，便捷地访问远程 系统。 工业现场网络 二、工业大数据采集 • 工业以太网协议在物理层和数据 链路层均采用有线以太网标准 IEEE802.3 • 在网络层和传输层采用了标准的 TCP/IP 协 议 簇 ( 包 括 UDP 、 TCP 、 IP 、 ARP 、 IC MP 、 IGMP 等 ) 。 • 在高层协议中，有的工业以太网 协议只定义应用层，有的工业以 太网协议还定义了用户层 工业以太网网络模型 用户层 用户层 TCP/UDP 协议 IP 协议 TCP/UDP 协议 IP 协议 应用层 表示层 会话层 传输层 网络层 数据链路层 物理层 应用层 表示层 会话层 传输层 网络层 数据链路层 物理层 应用层 IEEE802.3 应用层 IEEE802.3 发送方 接收方 发送方 接收方 IOS/OSI 参考模型 工业以太网通信协议模型 1 2 3 4 5 6 7 工业现场网络 二、工业大数据采集 目前比较有影响力的实时工业以太网有：西门子的 PROFINET 、倍福的 EtherCAT 、贝加莱 的 Powerlink 、横河的 VNET ／ IP 、东芝的 TCnet 、施耐德的 Modbus 、浙大中控的 EPA 等。 PROFINET 系统架构 EtherCAT 系统架构 主流工业以太网 工业现场网络 二、工业大数据采集 截至目前已有 40 多种现场总线运用到现 场工业网络中，多种工业网络协议支持不同层 次的设备应用： （ 1 ）传感器级总线用于处理传感器、行程 开关、继电器、接触器等设备的数据传输，一般 有快速、高精确度的通信要求，如 Ethercat 。 （ 2 ）设备级总线用于建立 PLC 、 DCS 等 控制系统之间或与分散的 I/O 设备之间的通信， 如 Modbus 、 Fieldbus 等。 （ 3 ）车间生产管理级总线用于大范围、多 系统的复杂通信，建立工业数据向上层传输的通 道，将现场设备和生产管理系统连接起来，如 OPCUA 、 MTConnect 、 MQTT 等。 Ethercat 、 DeviceNet 、 Profibus 等 Modbus 、 Fieldbus 等 OPCUA 、 MTConnect 、 MQTT 等 现场总线协议 二、工业大数据采集 OPC 是自动化应用中使用的一整套接口、属性和方法的标准集，实现了工业自动化系统中独立单 元之间标准化的互联互通。 主要包括三个规范： • OPC DA （ OPC Data Access ）用于定义数据 交换，包括值、时间和质量信息； • OPC AE （ OPC Alarms & Events ）用于定义 报警和事件类型消息信息的交换，以及变量状 态和状态管理； • OPC HDA （ OPC Historical Data Access ） 用于定义可应用于历史数据、时间数据的查询 和分析的方法。 OPC 协议 二、工业大数据采集 OPC UA 即 OPC 统 一 架 构 （ Unified Architecture ） ， 支 持多种操作系统（如 Microsoft Windows 、 Apple OSX 、 Android 、 Linux ），可 实现从传感器和现场层读取原始 数据和预处理的信息传输给控制 系统和生产规划系统的功能。 现场层 控制层 操作层 管理层 企业资源规划 OPC UA 协议 二、工业大数据采集 OPC UA 系统结构包括 OPC 服 务 器 和 客 户 端 两 部 分 ， 其 中