论文部分内容阅读
摘要：各电力公司运监系统数据来源于不同的业务部门、不同的业务系统，指标复杂、数据量巨大是运监系统数据需求的根本特点，这就导致了数据难以治理，数据质量难以保证。本文详细阐述了全周期数据资产管控系统的实现方法，达到指标明晰管理、文档在线浏览、数据责任明确到部门（下属单位），实现数据质量长治久安
关键词：全周期数据；资产管控系统；设计方案
1 概述
各电力公司运监系统数据来源于不同的业务部门、不同的业务系统，指标复杂、数据量巨大是运监系统数据需求的根本特点，这就导致了数据难以治理，数据质量难以保证。目前国网统推了数据资源管理工能够对数据的一致性、及时性、准确性进行检查，但是从指标卡片的统一管理和维护、质量报告的灵活程度、单位内数据质量排名、规范文档管理方面有一定的欠缺，因此有必要建设数据指标管控系统作为补充，完成数据指标定义分级维护、数据质量内部排名、文档统一维护等功能，达到指标明晰管理、文档在线浏览、数据责任明确到部门（下属单位），实现数据质量长治久安。系统设计需要建立数据资源全生命周期管理，对公司的数据资源进行集中在线管理，实现在线指标体系，在线元数据管理，在线数据质量管控，在线运营分析，提供多种格式的运营报告的查询导出功能。为运监中心的信息化发展奠定结实数据基础，发挥运监中心对数据的管理考核权利，提升运营指标检测监控能力，辅助运监中心开展指标提升分析。
2系统建设方案
本系统基于某电力公司运营监测指标体系，建立数据的整个生命周期数据资产管理，包括数据创建、收集传输、数据存储、数据存储和应用、数据共享、数据销毁等6个阶段，并在每个环节加入数据质量保证机制，建立科信有效的数据生命周期管理，为运监中心的信息化发展奠定数据基础，节约成本减少信息建设的底层投入，推进运监中心对数据的管理考核，提升运营指标检测监控能力。
2.1系统功能构架
本系统主要包括指标数据管理，明细数据管理，质量管控，运营报告，数据关系分析，数据预测分析六大板块。第一期只实现指标数据管理、质量管控、运营报告。明细数据管理、数据关系分析、数据预测分析分析三个模块的扩展接口，不对具体功能进行实现。
本期实现功能指标数据管理，质量管控，运营报告三部分。
2.2指标数据管理
指标数据管理通过建立标准的数据生命周期管理，包含指标数据从创建到销毁的各阶段，形成科学有效的数据管理机制，实现指标数据的在线创建、在线分析、在线集成、在线维护，在线数据字典等功能，有效的建立指标数据的追溯分析，为指标数据的处理和应用建立扎实的基础保证，减少数据基础工作的投入，加快运监中心的信息化建设。
2.2.1 指标管理
指标数据生命周期管理，包括：数据创建、收集传输、数据存储管理、数据存储和应用管理、数据共享管理、数据销毁管理等6个阶段。首先要明确运监中心同各专业部门，在各个环节的管理职责，再由项目组完成生命周期内各节点的协作界面，支撑指标数据的全周期管理。
1. 数据创建
依据运营监控需要，由国网或运监中心提出指标需求，建立标准的指标命名，再由专业部门完成指标的定义及算法及相关从业务、管理两个角度完善指标的相关描述信息。提供相关属性的维护审核界面，包含信息如下：
1） 业务描述录入：指标名称、业务关注点、指标分类、定义描述、指标维度、关联关系、指标简称、指标计量单位、频度、专业维度等。
2）管理描述录入：指标阀值（定性、定量）、系统预警规则、告警规则、山东实际统计维度、统计口径、责任处室、负责人、联系方式、线上数据支持情况、业务系统实际支持维度、应用场景等。
3）信息审核流程：完成录入信息后产生审核流程，由相关负责人对信息进行核准。
2. 数据传输
由专业部门完成指标创建后，由专业部门厂商维护相关技术资料，在完成技术资料维护后，由运监中心审核通过后，系统将构建标准接口，通过邮件方式发送至相关的业务厂商，业务厂商依据接口信息开发数据通道，通过界面调试，完成指标数据传输接入。功能包括：
1）技术描述录入：历史数据年限、数据频度、业务数据生成时间、数据断点情况、数据初源系统、指标相关的明细表名及字段、计算逻辑等。
2）自动生成指标编码：完成指标技术信息录入后，系统将自动生成唯一编码。
3）自动匹配专业维度编码：提供未匹配项处理页面，由厂商技术人员完成专业编码维护。
4）數据传输测试标准流程：提供厂商在线测试，并记录结果。
5）数据传输审核流程：完成录入信息后产生审核流程，由相关负责人对信息进行核准。并在完成数据接入后由业务负责人对数据质量进行在线校验后才能完成接入。
3. 数据存储
构建指标资源共享存储模型，依据指标等级及维度情况分类建立单维度、双维度、多维度指标存储模型。模型需具备较高的易维护性、扩展性。
4.数据应用管理
建立指标数据应用场景编码体系，记录每个指标数据的各个应用场景，如分析应用，展示应用，大屏应用等。建立数据应用反馈接口，接受用户对数据准确性的验证反馈，并进行分类存储，支撑数据验证管控功能。
提供指标应用情况查询分析界面。例如：用户可以通过界面识别出展示最频繁的指标。用户也可以查询某个指标的影响范围。达到科学精细化指标应用管理。
1）数据共享管理
建立指标在线数据共享申请和审核流程，数据需求方可以通过界面向运监中心提出数据交换需求，运监中心在线批复后，需求方可以依据系统定义的标准接口接收数据。实现数据在线共享管理。内置标准的M量级以下数据外送接口，可以直接将通过审批的每次数据交换量小于1M的指标数据直接按需求方周期进行提供。提供数据外送情况统计分析界面。 2）数据销毁
定义指标数据的保密级别，依据级别建立指标数据销毁或归档流程。销毁数据将从高性能的数据应用区移除，并依据情况转移至低性能存储区进行存储。
销毁：将对数据进行永久删除；
加密归档：对数据进行加密后转移至低频率存储区进行保存；
归档：对数据进行转移至低频率存储区进行保存。
3）元数据管理
依据指标全生命周期的数据信息分类进行整合，以每个指标为一个元模型进行分类统计。提供业务管理和技术开发的查询，提高信息化开发效率，提高指标元的管理效率，形成在线的运营监测指标体系。主要提供业务描述查询、技术描述查询分析。
业务描述查询：从业务管理角度，对指标的业务描述、业务场景、应用场景、所属部门、责任部门、责任处室、负责人、指标构成、指标关系等进行查询分析。
技术描述查询：从技术实现角度，对指标的计算公式、实现逻辑、存储数据库类型、存储区域、业务厂商、开发人员信息、运维负责人等进行查询分析。
周期分析：提供指标数据各周期节点的统计分析。对指标状态进行接入状态、存储情况、应用情况、共享状态进行标识。以接入状态为例：当指标数据接入到系统后，指标界面会通过彩灯方式识别当前指标数据的接入状态。同时，系统会对接入的数据进行实时监测，并实现异常指标数据的异常原因查看功能，方便用户及时定位到异常问题并及时解决。
2.3 数据质量管控
指标数据质量管控贯穿于整个数据生命周期，从“管”入手， 以“控”为目标，建立在线质量管理、治理、控制的保证体系，稳步提升数据质量。
数据质量报警：建立多方面多角度的数据质量查询界面，以精细验证、纵向到底的快捷查询追溯功能，实现对数据质量问题的自动监测，实时预警。让客户可以及时、全面的掌握数据及时性、完整性问题。
数据质量控制：建立在线数据质量处理流程，对发现的数据问题结合以往相似问题处理信息，直接通报至相关专业部门，并全程记录数据处理情况。
2.4 运营报告
依据运监中心实际业务的开展，建立相关的运营报告生成和导出功能，并对关键指标提供在线查询分析功能。主要包含运营动态、运营报告、运营分析三个模块。
3 系统技术方案
3.1 系统性能
根据系统设计要求，本数据指标管控系统具备良好的系统性能，具体如下：
1） 可实现指标卡片等查询页面响应时间不高于2S
2） 质量报告生成时间不高于5S
3） 能同时满足5000条指标卡片的导入导出和在线浏览。
4） 系统可满足并发50用户的访问。
3.2 技术架构
信息监控中心技术构架包括核心数据层、应用服务层、业务应用层、表现层，通过数据集成、应用集成、界面集成和终端接入等四种方式实现与现有业务应用的集成。
3.3安全架构
包括网络安全、数据安全、应用安全、操作系统安全等，共同构成整个系统的安全体系。
网络安全主要指网络设备的安全，网络设备需要进行安全配置，禁止不需要的服务和端口。对网络设备访问要做好访问控制，禁止远程访问；对网络设备的配置需要进行及时更新和定期检查。
数据安全主要为了保证工具的数据的机密性、完整性和可用性。对工具涉及的所有数据进行分类，分析数据的机密性、完整性和可用性的安全需求，采取相应的安全措施。
应用安全指工具本身的安全性，主要从身份管理、身份认证、访问控制、安全审计等方面考虑。
数据资源管理工具作为数据中心支撐工具直接在数据中心环境中进行部署。
4 结论
全周期试验数据管理系统的研究为电力公司数据管理的自动测试、分析及试验数据管理提供了一个整体的试验信息系统平台；建立数据资源全生命周期管理，对数据资源进行集中在线管理，实现在线指标体系，在线元数据管理，在线数据质量管控，在线运营分析，提供多种格式的运营报告的查询导出功能。为运监中心的信息化发展奠定结实数据基础，发挥运监中心对数据的管理考核权利，提升运营指标检测监控能力，辅助运监中心开展指标提升分析。
参考文献：
【1】李绍原，刘又诚.数据库系统原理与技术[M].北京：北京航空航天大学出版社，1992.
【2】陆松年.数据结构[M].上海：上海交通大学出版社1995.
【3】Lev M.Klyatis.Analysis of Different Approaches to Reli·ability Testing[D].2005 SAE International，2005-01-0820.
关键词：全周期数据；资产管控系统；设计方案
1 概述
各电力公司运监系统数据来源于不同的业务部门、不同的业务系统，指标复杂、数据量巨大是运监系统数据需求的根本特点，这就导致了数据难以治理，数据质量难以保证。目前国网统推了数据资源管理工能够对数据的一致性、及时性、准确性进行检查，但是从指标卡片的统一管理和维护、质量报告的灵活程度、单位内数据质量排名、规范文档管理方面有一定的欠缺，因此有必要建设数据指标管控系统作为补充，完成数据指标定义分级维护、数据质量内部排名、文档统一维护等功能，达到指标明晰管理、文档在线浏览、数据责任明确到部门（下属单位），实现数据质量长治久安。系统设计需要建立数据资源全生命周期管理，对公司的数据资源进行集中在线管理，实现在线指标体系，在线元数据管理，在线数据质量管控，在线运营分析，提供多种格式的运营报告的查询导出功能。为运监中心的信息化发展奠定结实数据基础，发挥运监中心对数据的管理考核权利，提升运营指标检测监控能力，辅助运监中心开展指标提升分析。
2系统建设方案
本系统基于某电力公司运营监测指标体系，建立数据的整个生命周期数据资产管理，包括数据创建、收集传输、数据存储、数据存储和应用、数据共享、数据销毁等6个阶段，并在每个环节加入数据质量保证机制，建立科信有效的数据生命周期管理，为运监中心的信息化发展奠定数据基础，节约成本减少信息建设的底层投入，推进运监中心对数据的管理考核，提升运营指标检测监控能力。
2.1系统功能构架
本系统主要包括指标数据管理，明细数据管理，质量管控，运营报告，数据关系分析，数据预测分析六大板块。第一期只实现指标数据管理、质量管控、运营报告。明细数据管理、数据关系分析、数据预测分析分析三个模块的扩展接口，不对具体功能进行实现。
本期实现功能指标数据管理，质量管控，运营报告三部分。
2.2指标数据管理
指标数据管理通过建立标准的数据生命周期管理，包含指标数据从创建到销毁的各阶段，形成科学有效的数据管理机制，实现指标数据的在线创建、在线分析、在线集成、在线维护，在线数据字典等功能，有效的建立指标数据的追溯分析，为指标数据的处理和应用建立扎实的基础保证，减少数据基础工作的投入，加快运监中心的信息化建设。
2.2.1 指标管理
指标数据生命周期管理，包括：数据创建、收集传输、数据存储管理、数据存储和应用管理、数据共享管理、数据销毁管理等6个阶段。首先要明确运监中心同各专业部门，在各个环节的管理职责，再由项目组完成生命周期内各节点的协作界面，支撑指标数据的全周期管理。
1. 数据创建
依据运营监控需要，由国网或运监中心提出指标需求，建立标准的指标命名，再由专业部门完成指标的定义及算法及相关从业务、管理两个角度完善指标的相关描述信息。提供相关属性的维护审核界面，包含信息如下：
1） 业务描述录入：指标名称、业务关注点、指标分类、定义描述、指标维度、关联关系、指标简称、指标计量单位、频度、专业维度等。
2）管理描述录入：指标阀值（定性、定量）、系统预警规则、告警规则、山东实际统计维度、统计口径、责任处室、负责人、联系方式、线上数据支持情况、业务系统实际支持维度、应用场景等。
3）信息审核流程：完成录入信息后产生审核流程，由相关负责人对信息进行核准。
2. 数据传输
由专业部门完成指标创建后，由专业部门厂商维护相关技术资料，在完成技术资料维护后，由运监中心审核通过后，系统将构建标准接口，通过邮件方式发送至相关的业务厂商，业务厂商依据接口信息开发数据通道，通过界面调试，完成指标数据传输接入。功能包括：
1）技术描述录入：历史数据年限、数据频度、业务数据生成时间、数据断点情况、数据初源系统、指标相关的明细表名及字段、计算逻辑等。
2）自动生成指标编码：完成指标技术信息录入后，系统将自动生成唯一编码。
3）自动匹配专业维度编码：提供未匹配项处理页面，由厂商技术人员完成专业编码维护。
4）數据传输测试标准流程：提供厂商在线测试，并记录结果。
5）数据传输审核流程：完成录入信息后产生审核流程，由相关负责人对信息进行核准。并在完成数据接入后由业务负责人对数据质量进行在线校验后才能完成接入。
3. 数据存储
构建指标资源共享存储模型，依据指标等级及维度情况分类建立单维度、双维度、多维度指标存储模型。模型需具备较高的易维护性、扩展性。
4.数据应用管理
建立指标数据应用场景编码体系，记录每个指标数据的各个应用场景，如分析应用，展示应用，大屏应用等。建立数据应用反馈接口，接受用户对数据准确性的验证反馈，并进行分类存储，支撑数据验证管控功能。
提供指标应用情况查询分析界面。例如：用户可以通过界面识别出展示最频繁的指标。用户也可以查询某个指标的影响范围。达到科学精细化指标应用管理。
1）数据共享管理
建立指标在线数据共享申请和审核流程，数据需求方可以通过界面向运监中心提出数据交换需求，运监中心在线批复后，需求方可以依据系统定义的标准接口接收数据。实现数据在线共享管理。内置标准的M量级以下数据外送接口，可以直接将通过审批的每次数据交换量小于1M的指标数据直接按需求方周期进行提供。提供数据外送情况统计分析界面。 2）数据销毁
定义指标数据的保密级别，依据级别建立指标数据销毁或归档流程。销毁数据将从高性能的数据应用区移除，并依据情况转移至低性能存储区进行存储。
销毁：将对数据进行永久删除；
加密归档：对数据进行加密后转移至低频率存储区进行保存；
归档：对数据进行转移至低频率存储区进行保存。
3）元数据管理
依据指标全生命周期的数据信息分类进行整合，以每个指标为一个元模型进行分类统计。提供业务管理和技术开发的查询，提高信息化开发效率，提高指标元的管理效率，形成在线的运营监测指标体系。主要提供业务描述查询、技术描述查询分析。
业务描述查询：从业务管理角度，对指标的业务描述、业务场景、应用场景、所属部门、责任部门、责任处室、负责人、指标构成、指标关系等进行查询分析。
技术描述查询：从技术实现角度，对指标的计算公式、实现逻辑、存储数据库类型、存储区域、业务厂商、开发人员信息、运维负责人等进行查询分析。
周期分析：提供指标数据各周期节点的统计分析。对指标状态进行接入状态、存储情况、应用情况、共享状态进行标识。以接入状态为例：当指标数据接入到系统后，指标界面会通过彩灯方式识别当前指标数据的接入状态。同时，系统会对接入的数据进行实时监测，并实现异常指标数据的异常原因查看功能，方便用户及时定位到异常问题并及时解决。
2.3 数据质量管控
指标数据质量管控贯穿于整个数据生命周期，从“管”入手， 以“控”为目标，建立在线质量管理、治理、控制的保证体系，稳步提升数据质量。
数据质量报警：建立多方面多角度的数据质量查询界面，以精细验证、纵向到底的快捷查询追溯功能，实现对数据质量问题的自动监测，实时预警。让客户可以及时、全面的掌握数据及时性、完整性问题。
数据质量控制：建立在线数据质量处理流程，对发现的数据问题结合以往相似问题处理信息，直接通报至相关专业部门，并全程记录数据处理情况。
2.4 运营报告
依据运监中心实际业务的开展，建立相关的运营报告生成和导出功能，并对关键指标提供在线查询分析功能。主要包含运营动态、运营报告、运营分析三个模块。
3 系统技术方案
3.1 系统性能
根据系统设计要求，本数据指标管控系统具备良好的系统性能，具体如下：
1） 可实现指标卡片等查询页面响应时间不高于2S
2） 质量报告生成时间不高于5S
3） 能同时满足5000条指标卡片的导入导出和在线浏览。
4） 系统可满足并发50用户的访问。
3.2 技术架构
信息监控中心技术构架包括核心数据层、应用服务层、业务应用层、表现层，通过数据集成、应用集成、界面集成和终端接入等四种方式实现与现有业务应用的集成。
3.3安全架构
包括网络安全、数据安全、应用安全、操作系统安全等，共同构成整个系统的安全体系。
网络安全主要指网络设备的安全，网络设备需要进行安全配置，禁止不需要的服务和端口。对网络设备访问要做好访问控制，禁止远程访问；对网络设备的配置需要进行及时更新和定期检查。
数据安全主要为了保证工具的数据的机密性、完整性和可用性。对工具涉及的所有数据进行分类，分析数据的机密性、完整性和可用性的安全需求，采取相应的安全措施。
应用安全指工具本身的安全性，主要从身份管理、身份认证、访问控制、安全审计等方面考虑。
数据资源管理工具作为数据中心支撐工具直接在数据中心环境中进行部署。
4 结论
全周期试验数据管理系统的研究为电力公司数据管理的自动测试、分析及试验数据管理提供了一个整体的试验信息系统平台；建立数据资源全生命周期管理，对数据资源进行集中在线管理，实现在线指标体系，在线元数据管理，在线数据质量管控，在线运营分析，提供多种格式的运营报告的查询导出功能。为运监中心的信息化发展奠定结实数据基础，发挥运监中心对数据的管理考核权利，提升运营指标检测监控能力，辅助运监中心开展指标提升分析。
参考文献：
【1】李绍原，刘又诚.数据库系统原理与技术[M].北京：北京航空航天大学出版社，1992.
【2】陆松年.数据结构[M].上海：上海交通大学出版社1995.
【3】Lev M.Klyatis.Analysis of Different Approaches to Reli·ability Testing[D].2005 SAE International，2005-01-0820.