面向工业领域的实时数据仓库的设计与实现

来源 :中国科学院大学(中国科学院沈阳计算技术研究所 | 被引量 : 0次 | 上传用户:xiaoyawxh
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代的发展给社会中的各行各业带来了大量的机遇和挑战,随着工业4.0以及《中国制造2025》的提出,更加推动了大数据技术和工业制造领域的结合,如何通过大数据技术从工业数据中挖掘出价值,从而提供决策支持、优化生产流程、实现智能制造,成为了大数据在工业领域的研究关键。但由于制造工厂的规模扩大、生产设备的数量增加导致大数据的4V特征在工业领域被显著增强。传统的工业领域采用的往往是离线数据仓库来应对海量数据的存储和处理问题,但面对时效性更高的需求,例如工厂中各项监控指标的实时计算、设备的实时监控预警,离线数据仓库却并不能提供有效的解决方案。面对这些问题,需要一种新的处理方法来实现。本文围绕工业实时数据的处理,设计并实现了一个基于Flink的面向工业领域的实时数据仓库系统。该系统由数据集成、数据处理、数据存储、数据服务四个模块构成。数据集成模块对业务数据和流数据使用了不同的采集方式,并通过Kafka传输到实时数仓中。数据处理模块实现了实时数据的维度建模,分为ODS层、DWD层、DWS层、ADS层和DIM层,每层数据使用Flink进行计算并用Kafka转发,同时利用CEP技术实现了工业设备和环境情况的实时预警。数据存储模块使用Click House数据库存储DWS层数据;HBase和Redis存储维度数据;Kafka存储中间层数据,实现了数据的分类存储。数据服务层实现了用户和工业实时数仓的交互功能。在工业领域中,由于数据的复杂性和动态性,手动制定实时预警的CEP规则往往难以实现,针对这一问题,本文设计了基于遗传算法的CEP规则自动抽取框架,可以从历史数据中自动提取出实时预警所需要的CEP规则,并通过实验验证了算法的准确性和可行性。最后通过分布式集群来搭建系统环境,实现实时数仓各个模块具体功能,并编写可视化界面对数仓数据进行展示,实现了工业实时数据的处理和分析,为工业生产提供数据统计分析和设备监测预警等功能。
其他文献
目的:分析黏膜下切除术(EMR改进型)治疗结肠息肉的临床效果。方法:选取肇庆市第一人民医院2018年3月-2020年3月收治的结肠息肉患者60例,依随机数字表法分为研究组和对照组各30例,研究组予以黏膜下切除术(EMR改进型)治疗,对照组单独予以内镜下高频电切术治疗,对比两组治疗效果。结果:研究组浅表隆起结肠息肉治疗总有效率高于对照组,差异有统计学意义(P<0.05),两组亚蒂与有蒂隆起结肠息肉治
在现代社会快速发展的背景下,目前为了推动国民经济,我国的领导者提出了需要进一步完善文化产业的建设,推动不同的文化产业发展。而经过观察发现,现阶段,体育文化产业是具有非常大潜力的一个开发产业,并且其内在资源优势对于我国经社会经济的发展具有一定积极影响。基于此,下文就针对未来我国体育文化产业发展的具体定位进行分析。
3-羟基-3-甲基戊二酰辅酶A合酶(HMGS)是萜类合成途径的关键酶,在植物萜类物质合成中具有重要作用。以水芹‘伏芹1号’为试材,克隆得到水芹OjHMGS基因,并对其进行生物信息学分析。结果表明OjHMGS含有1 401 bp的开放阅读框,编码466个氨基酸。保守结构域分析显示, OjHMGS基因属于HMGCoA家族;蛋白序列对比发现OjHMGS与芹菜和胡萝卜的HMGS序列相似度较高;进化树分析也
开展粤港澳大湾区高等外语教育协同规划,既符合国家外语教育宏观规划也是粤港澳大湾区高等外语教育一体化发展的客观要求,是落实国家高等外语教育战略,整合区域高等外语教育资源,提高外语专业人才和专业人才外语素养总体水平的重要途径。基于外语教育规划理论和协同理论,重点探讨粤港澳大湾区高等外语教育协同规划的机遇和挑战、原则和策略问题,为推动区域高等外语教育协同规划发展提供参考。
研究背景卵巢癌发病率高,其早期患者症状不明显,治疗后复发率高、预后较差,且由于病理类型多样,机制及病因尚不明确。肌球蛋白重链9(MYH9)是广泛表达的细胞质肌球蛋白,研究发现MYH9在许多恶性实体肿瘤中均呈现高表达,MYH9高表达患者具有更差的生存期。MYH9可能在肿瘤细胞粘附、迁移、增殖和分化、上皮-间质转化(EMT)等过程中发挥着癌基因的作用。自噬依赖性铁死亡是近年发现的一种调节性细胞死亡的形
<正>再读《青春之歌》,已是相隔二十余年。在书店旧书架上一眼瞥见,发黄的封面、简笔的肖像、火热的标题,一如第一次见到它。我惊喜交加,轻轻拂去灰尘捧在手中,仔细打量,终于确认,和我二十年前珍藏的那本是同一版本!
期刊
党的二十大胜利召开开启了中国式现代化建设的新征程,被赋注新生命力的中国式现代化必将为中国体育的发展注入崭新能量。在梳理现代化理论内涵的基础上,探析中国式现代化的时代特色和本质要求,建构“中国式现代化体育”的内涵结构。研究表明,中国式现代化体育的价值体系包括把握人民至上的根本立场全力发展全民体育和推动体育全面发展、把握公平共享的本质要求维护和实现人民美好体育生活向往、把握协调发展的重要导向推动中国体
电力系统在我国经济发展中发挥着极其关键的作用,配电网位于整个电力系统的末端位置,最终连接到数以亿计的用电客户,用户的一切生产活动都与其紧密相连,配电网的稳定、可靠是对于电力系统运行的重要保障。配电网中负荷数据的安全性和准确性对于配电网以至于整个电网系统都是极其重要的,获取配电网中安全、真实的负荷数据对于电力的规划协调、负荷预测等任务起着数据支撑作用。因此,及时的发现配电网中异常的负荷数据就可以尽快
快速准确的鱼类识别系统需要良好的识别模型和部署系统作为支撑。近年来,卷积神经网络在图像识别领域取得了巨大成功,不同的卷积网络模型都有不同的优点和缺点,面对众多可供选择的模型结构,如何选择和评价卷积神经网络模型成为了必须考虑的问题。此外,在模型应用方面,移动终端直接部署深度学习模型需要对模型进行裁剪、压缩处理,影响精度的同时还会导致安装包体积增大,不利于模型升级维护。针对上述问题,本研究根据水下鱼类
目的:探讨在快速康复的理念下,通过对行内镜下黏膜切除术(Endoscopic mucosal resection,EMR)手术的结肠息肉患者术后采用快速康复方式,探索快速康复对行EMR手术的结肠息肉患者的舒适度及安全性的意义。方法:采用前瞻性分析的方法对2019年10月至2021年10月就诊于秦皇岛市第一医院消化内科行EMR手术的300例结肠息肉患者进行研究。将患者随机分组分为对照组和观察组,其中