土木在线论坛 \ 给排水工程 \ 市政给排水 \ 常州排水数据资产体系建设探索与实践

常州排水数据资产体系建设探索与实践

发布于:2024-06-13 15:04:13 来自:给排水工程/市政给排水 [复制转发]


以常州城市排水有限公司数据资产管理体系为案例,研究探索数据与实体业务的融合发展模式,并提出包括统筹规划、标准引领、还原解构和深化应用的数据资产管理体系构建思路,探索出水务行业数据资产体系架构与可行的建设路径。常州排水通过数据资产体系建设实践,实现了企业数据资产体系化管理和数据业务化,有效提升常州排水运营和公共服务的质量与效益。同时也沉淀了水务行业数据要素化、资产化的理论、架构和方法,为推动水务行业数字化转型、发挥数据生产要素价值提供参考方案。


作者

宗圆1 许光明1 武昆峰2 白瑶3 朱永霞3 何洪威2


1.常州市城市排水有限公司,江苏常州 213000;

2.珠海卓邦科技有限公司,广东珠海 519070;

3.阿里云计算有限公司,杭州 310000


00

引言

随着信息化和数字化的快速发展,企业的数据资产变得越来越重要。数据资产包括企业拥有的所有数据和相关信息资源,其对于企业的运营和决策起到至关重要的作用。国内排水行业数据资产体系的建设已经取得一定进展,但仍然面临诸多挑战和问题,如数据来源不完整、数据标准不统一、数据存储和管理不完善等[1]。未来,需要进一步加强数据收集和整合、数据标准化和分类、数据存储和管理、数据分析和应用等方面工作,以实现排水行业数据资产体系的全面建设和应用。


常州城市排水有限公司(下文简称“常州排水”)作为一家负责常州市排水系统运营管理的公司,其数据资产对于保障城市排水系统的正常运行和提升管理效能具有重要意义。然而,其目前在数据资产管理方面存在一些问题和挑战。例如,数据分散存储、数据质量不高、数据安全性低等,影响公司对数据的有效利用和价值挖掘。因此,建立一套完善的数据资产体系,对数据进行统一管理和优化,对于此类企业具有重要的现实意义和研究价值。这也是国内排水行业首次研究和建立完善的数据资产体系,对于推动整个行业数据资产管理具有重要价值和意义。


数据资产体系研究的目的是通过对常州排水的数据资产进行系统分析和研究,构建一套完善的数据资产管理体系,包括数据资产的收集、存储、处理、分析和应用等环节,从而提升数据的管理和利用效能,支持公司的决策和业务发展。通过数据资产体系研究,可以帮助常州排水实现以下目标:1)数据资产的统一管理:建立数据资产的统一管理框架,包括数据收集、存储、清洗、整合等环节,确保数据的准确性和完整性;2)数据资产的深化应用:通过数据分析和挖掘技术,发现数据的潜在价值和业务洞察,为公司决策和运营提供支持。


01

数据资产体系构架价值分析

在数据要素新引擎的驱动下[2,3],企业在获得生产经营模式突破创新与升级迭代机遇的同时,也面临着诸多挑战。本研究基于企业生产经营的本质原则与大量实践经验分析,提出了常州排水数据资产管理思想与策略,并以此为指导,构建了常州排水数据资产体系,实现“数据要素化、数据资产化”的突破。


通过构建常州排水数据资产体系,用数据指导日常管理运营工作,形成对排水数据和行业数据的深度挖掘与融合分析能力,有效提升常州排水运营和公共服务的质量与效益,主要体现在如下方面:


1)管理效益。实时反映常州排水的运行状态,制定生产绩效、能耗成本等不同主题的数据报表,实现数据辅助决策,降低决策难度与成本。


2)经济效益。a.降本增效:有效节约能耗和药耗;保障低水位运行,降低水泵运行时间,提升运行效率。b.应急协同:当出现突发故障或检修导致停产减产时,可通过灵活调度系统保障应急事件情况下的平稳运行,减少经济损失。c.解放人力:通过排水全过程数据规律识别与分析,理清城市排水管理问题的深层原因,对城市排水业务常态化工作进行定量化指导,降低日常管理与污水运维的人力资源消耗,解放劳动力。


3)社会效益。a.改善环境:通过数字化运营管理,减少污水冒溢及水环境污染,保持低水位运行以保障排水通畅,提升城市环境品位和整体竞争力[4]。b.公众服务:通过数据监测与分析功能,第一时间识别污水冒溢外渗、城市内涝等风险并快速处置,为人民群众提供良好的排水社会服务。


02

数据资产体系构建思路

1)统筹规划。通过企业数据资源盘点、数据管理能力评估、发布数据战略、建立组织责任体系,为后续数据资产管理和运营锚定方向、奠定基础。


2)标准引领。坚持标准引领,通过标准将技术与业务深度融合,提高技术应用的效率和效果,有效赋能企业管理。


3)还原解构。在数据治理方面,还原解构企业数据,分层分域治理数据,统一标准构建常州排水全域数据体系。通过数据成果复用,避免重复劳动,降低数据开发和分析总成本。


4)深化应用。在业务应用领域,将数理算法与机理模型进行耦合,打造数智化业务应用,进行更快速、更高效的分析与预测,有效释放数据价值。


03

数据资产体系实践

3.1体系规划


 

图1 常州排水数据资产体系架构

 Figure 1 System architecture of Changzhou drainage data asset 


常州排水数据资产体系建设主要包括数据标准、管理制度、技术工具和数据应用4个方面。


1)数据标准是数据资产管理的基础,它涵盖了数据的格式、命名规范、数据质量要求等方面。通过制定统一的数据标准,可以确保数据的一致性和可比性,提高数据的可管理性和可维护性。


2)管理制度是数据资产管理的重要支撑。建立健全的数据管理制度,包括数据安全管理、数据权限管理、数据备份与恢复管理等方面。通过制定明确的管理规范和流程,可以保障数据的安全性和合规性,有效防止数据泄露和滥用。


3)技术工具是数据资产管理的关键。借助先进的数据管理工具,可以实现数据的采集、存储、清洗、整合、分析和可视化等功能。例如,数据仓库、数据集成工具、数据质量管理工具等,可以帮助企业高效地管理和利用数据,提升数据资产的价值。


4)数据应用是数据资产管理的最终目标。通过数据分析、数据挖掘、人工智能等技术,将数据转化为有价值的信息和洞察,为企业决策提供支持。同时,通过数据共享,可以促进数据的创新应用,推动行业的发展和进步。


3.2管理制度


建立管理制度体系包括制度规范、组织保障、实施评价、技术支撑等在内的数据认责体系框架。制定全域数据认责工作指引,进一步落实认责体系,明确推进组织、工作任务、保障措施等内容。从管理层、规范层、执行层3个层面入手,构建层级分明的数据认责制度标准体系。面向全公司、全业务、全领域数据,围绕数据资产全生命周期,梳理各层级数据相关角色在各环节中所承担的数据责任,形成全域数据责任定义矩阵,制定全域数据认责矩阵模板,建立基础标准。


管理制度体系涵盖信息化项目管理、系统管理、信息安全、数据资产、标准管理等方面,重点服务于常州排水信息化和数字化管理工作,是目前为止国内水务行业最成体系的信息化管理制度。


 

图2 管理制度架构

Figure 2Framework of the management regualtions


该项目充分考虑了常州排水的数据管理要求,并与现有信息化工作流程融合,最终形成了以数据资产管理为核心的信息化管理制度体系,开创了国内水务行业数据资产管理制度先河,从而助力常州排水信息化管理工作达到行业领先水平。


3.3数据标准


3.3.1 制定数据标准的意义

制定数据标的准意义包括:落实国家、地方和行业的大数据发展规划。统一数据标准,使得数据质量校验有据可依,数据安全管理有章可循,为大数据治理提供支持。解决数据业务含义不一致、不完整、不准确等问题,消除数据二义性,使得数据在公司内部有一个全局的定义,减少了各部门、各系统的沟通成本,提升业务处理效率。规范的数据模型和数据定义为新建系统提供支撑,提升应用系统的开发实施效率。数据标准清晰定义数据质量规则、校验规则,提升数据质量。


3.3.2 数据标准体系


 

图3 标准体系框架

Figure 3 Framework of the criteria system


3.3.3 数据标准应用

数据标准在常州排水智慧排水项目建设中的应用示例:


1)主数据。统一认证中心采用了Q/CZPS 0312—2023《常州排水企业信息门户单点登录规则》。主数据系统的风格采用了Q/CZPS 0313—2023《常州排水企业信息门户UI设计指南》。主数据模型采用了主数据标准Q/CZPS 0406—2022《常州排水主数据规范》中的6项规范,包括组织、人员、设备、工程、供应商、排水户。


2)数据资产管理。系统参照Q/CZPS 0401—2022《常州排水数据分类与编码》进行数据分级分类。


3)智能搜索。系统参照Q/CZPS 0406.2—2022《常州排水主数据规范 第2部分:人员》进行用户账号设置和管理。参照Q/CZPS 0406.1—2022《常州排水主数据规范 第1部分:组织》进行机构设置和管理。参照Q/CZPS 0313—2023《常州排水企业信息门户UI设计指南》进行门户版面设计。


4)数据治理

表1 数据治理参考标准清单

Table 1 The reference standards list for date asset management


 


5)报表中心:遵照Q/CZPS 0201—2022《常州排水业务模型规范》设计报表体系架构。管网及泵站主题报表遵照Q/CZPS 0412—2022《常州排水管网及泵站管理主题数据模型规范》设计报表字段。污水厂主题报表遵照Q/CZPS 0416—2022《常州排水污水厂主题数据模型规范》设计报表字段。


3.4数据治理

大数据建设方法论的核心:从业务架构设计到模型设计,从数据研发到数据服务,做到数据可管理、可追溯、可规避重复建设。


3.4.1 业务架构设计


 

图4 业务模型架构

Figure 4 Framework of the business models


3.4.2 模型设计

1)基本原则

高内聚低耦合:一个逻辑或者物理模型由哪些记录和字段组成,应该遵循高内聚低耦合原则。主要从数据业务特性和访问特性两个角度来考虑:将业务相近或者相关、粒度相同的数据设计为一个逻辑或者物理模型;将高概率同时访问的数据放一起,将低概率同时访问的数据分开存储。


核心模型与扩展模型分离:建立核心模型与扩展模型体系,核心模型包括的字段支持常用的核心业务,扩展模型包括的字段支持个性化或少量应用,不能让扩展模型的字段过度侵入核心模型,以免破坏核心模型的架构简洁性与可维护性。


公共处理逻辑下沉及单一:越是底层公用的处理逻辑越应该在数据调度依赖的底层进行封装与实现,不要让公用的处理逻辑暴露给应用层实现,不要让公共逻辑多处同时存在。


成本与性能平衡:适当的数据冗余可换取查询和刷新性能,但不宜过度冗余与数据复制。


数据可回滚:如果处理逻辑不变,那么在不同时间多次运行数据的结果应确定不变。


一致性:具有相同含义的字段在不同表中的命名应相同,应使用统一规范的名称。


命名清晰可理解:表命名应清晰、易于理解。


2 )模型层次

数据治理团队把表数据模型分为三层:操作数据层(ODS)、公共维度模型层(CDM)和应用数据层(ADS),其中公共维度模型层包括明细数据层(DWD)和汇总数据层(DWS)。


操作数据层(ODS):把操作系统数据几乎无处理地存放在数据仓库系统中。


同步:结构化数据增量或全量同步。


结构化:非结构化(日志)结构化处理并存储。


数据清洗:根据业务需求保存历史数据,并进行数据清洗。


公共维度模型层(CDM):存放明细事实数据、维表数据及公共指标汇总数据,其中明细事实数据、维表数一般根据ODS层数据加工生成;公共指标汇总数据一般根据维表数据和明细事实数据加工生成。


CDM 层又细分为 DWD 层和 DWS 层,分别是明细数据层和汇总数据层,采用维度模型方法作为理论基础,更多地采用一些维度退化手法,将维度退化至事实表中,减少事实表和维表的关联,提高明细数据的易用性;同时在汇总数据层,加强指标的维度退化,采取更多的宽表化手段构建公共指标数据层,提升公共指标的复用性,减少重复加工。其主要功能如下:a.组合相关和相似数据:采用明细宽表,复用关联计算,减少数据扫描。b.公共指标统一加工:基于数据标准体系构建命名规范、口径和算法统一的统计指标,为上层数据产品、应用和服务提供公共指标;建立逻辑汇总宽表。c.建立一致性维度:建立一致的数据分析维表,降低数据计算口径、算法不统一的风险。


CDM层的数据模型设计主要包含维度表、事实表以及指标定义。其中,数据模型的维度设计主要以维度建模理论为基础,基于维度数据模型总线矩阵,还原解构企业数据,构建一致性维度和事实。数据模型的事实表设计在维度模型事实表的基础上,结合数据使用场景的具体实践,进一步扩展。数据模型的指标定义,采取组件化的形式,进行指标标准化定义,先规范定义后生产,全生命周期控制,保证数据口径统一,减少重复建设,强调数据的复用与共享。


CDM层数据模型的设计主要流程如下:

 

图5 数据模型设计流程

Figure 5 Designed workflow the data models


应用数据层(ADS):存放数据产品个性化的统计指标数据,根据CDM 层与 ODS 层加工生成。个性化指标即无公用性、复杂性(指数型、比值型、排名型)的指标。


3) CDM层模型

CDM层分域划分10个数据域,泵站管理域、排水管网域、环境能源数据域、水质数据域、监督监管域、工程管理域、设备资产域、财务数据域、组织人员数据域、公共数据域。


 

图6 数据域设计

Figure 6 Design of the data domain


数据模型采用先设计、后开发的方式,通过业务需求分析和数据探查,获取数据模型的需求细节,进而按照数据模型规范设计出泵站、管网、污水处理、水质管理、监督监管等场景下的详细数据模型。


常州排水目前共设计了57个数据模型表,涵盖泵站、管网、污水处理、水质管理、监督监管、设备资产等所有核心业务。


总线矩阵是数据仓库设计中的一个重要工具,用于定义和管理维度之间的关系。它是一个二维表,其中每一行表示一个事实表,每一列表示一个维度表,交叉点表示该事实表与该维度表之间的关系。常州排水总线矩阵示例见表2。


表2 总线矩阵

Table 7 The bus matrix

 


3.5数据服务

数据服务就是把数据变为一种服务能力,数据中台提供快捷的服务生成能力,并对服务进行管控、鉴权、计量。数据服务管理是数据开放共享、应用融合分析的重要载体,系统提供统一的服务注册、发布、调用、监控功能,使支撑平台应用之间的调用更加便捷和安全。


数据服务形式包括数据服务API、共享数据库、数据管道三种形式。


3.6数据资产管理

通过建设数据资产管理系统,完成常州排水数据全生命周期管理以及数据分类分级管理,实现企业数据资产的可见、可用、可管、可治,为最大化释放数据价值提供支撑。


 

图7 数据资产管理

Figure 7 Data asset management


由图1可见,具体价值如下:


数据资产的可视化地图:通过建设资产地图将常州排水的数据资产以可视化的形式呈现出来,能够更直观地了解数据资产的分布情况,为数据资产管理提供全局视角。


数据资产的管理闭环:本项目建设了资产查询、资产注册、资产更新和资产注销等功能,实现了对数据资产的全生命周期管理,为能够更加高效地管理数据资产提供支持。


数据资产的目录索引:通过建设目录管理功能,建立了数据资产目录,管理数据资产的分级分类,让数据资产标签化和索引化,为快速查找数据资产提供了便利,让数据资产查找快、好理解和易使用。


 

图8 数据资产目录设计

Figure 8 Design of data asset catalog


3.7数据应用

基于常州排水企业数据自身的价值特点,结合企业内、外部应用场景与需求,开发推广相应的数据应用服务,是数据要素价值创造与释放的主要模式,是企业价值创造的主要手段,是企业重点打造的能力高地。


常州排水充分发挥数据在公司管理和业务变革中的重要推动作用,打造了面向全公司的决策支持平台、统一搜索中心、智慧管网、智慧污水厂以及源厂站网河一体化调度等大数据应用[5,8]。


3.7.1 决策支持中心

建立决策支持中心,总览展示常州排水日常运营与业务决策所需数据支撑,实时反映排水系统的运行状态。制定生产绩效、能耗成本等不同主题的数据报表,实现数据辅助决策,降低决策难度与成本。


 

图9 决策支持中心示意图

Figure 9 The interface of the decision support center


3.7.2 报表中心

报表中心按照常州智慧排水建设规划的要求,从实际情况出发,结合行业内先进经验,建立了报表管理体系,依托数据中台的数据获取、清洗和计算能力,提供了完备的报表生成、监控和发布服务。同时,借鉴行业内报表经验,打破常州排水各业务系统数据孤岛的壁垒,制作跨业务、跨部门、跨系统的综合性分析报表,大幅提升数据辅助决策能力。


报表中心建设的价值体现在以下方面:


统一数据指标:基于数据指标标准,统一了数据指标命名、定义、口径和加工逻辑,实现数据指标标准化。


工作减负:通过还原解构企业报表,重构报表链路,建立报表间数据依赖关系,避免重复填报和人工汇总问题。


数据预警:利用工具能力,配置数据预警告警阈值,对异常数据进行自动高亮显示,帮助用户快速定位到异常数据。


辅助决策:基于现有业务需求和行业经验,建设分析型报表,提供决策支持。


 

图10 报表数据链路示意

Figure 10 Schematic diagram of report data link


3.7.3 智能搜索

智能搜索是常州排水企业级数据搜索引擎,通过关键词能快速搜索到企业内部数据指标、数据资源、报表、文件、资讯,同时搜索行业内的数据、资讯和知识,提供便捷、移动、高效的搜索服务。


 

图11 常州排水知识体系

Figure10 The knowledge of Changzhou Drainage


3.7.4 智慧管网

通过深度学习、模式识别、数据挖掘等智能算法,对排水运行规律进行学习和提炼,将人工经验转换为智能实现,及时发现管网异常,对故障原因进行诊断。同时建立用户反馈模式,对故障模式进行确认和存证,为排水管网的运维管理提供辅助决策支持。


 

图12 智慧管网分析示意图

Figure 12 The  smart pipeline analysis


3.7.5 源厂站网河一体化调度

基于泵站和管网流量液位监测,污水厂进水流量监测、河道水位监测等在线监测数据以及各类基础数据,充分利用管网水力计算模型,并结合GIS数据管理和空间分析能力,提出排水系统联合调度方案。


 

图13 源厂站网河一体化调度示意图

Figure 13 Integrated scheduling diagram of the water source-water plant-pump station-pipeline network-river


3.7.6 智慧污水厂

智慧污水厂建设遵循智慧排水标准体系,基于大数据治理平台的数据资产,,构建污水厂全方位智慧管理,实现污水厂生产监测与巡视、异常预警、工艺沿程分析和诊断辅助、进出水流量和水质预测、能耗和药耗分析。对污水厂生产过程全要素进行综合分析,并进行多维度、多参数分析,探索核心指标变化趋势、相关性和潜在规律,为污水厂的智能化控制提供数据决策辅助支持。


 

图14 智慧污水厂示意图

Figure 14 The smart water plant


04

结论与展望

4.1成果总结

1)数据标准化:制定统一数据标准,确保数据一致性和准确性,提高数据的可管理性和可维护性,减少数据冗余和错误,提升数据质量和可信度。


2)制度保障:建立完善数据管理制度,规范数据采集、存储、处理、共享和安全等流程,确保数据合规性和安全性,降低数据管理风险和成本。


3)资产统管:有效管理和利用企业数据资产,包括数据分类、生命周期管理等,提高数据价值和利用率,降低数据丢失和泄露风险,增强企业竞争力和创新能力。


4)赋能业务:通过数据智能应用建设,为企业提供数据支持和分析服务,提升科学决策水平。


通过以上价值点,实现从数据资源到数据要素再到数据资产的数据战略目标,建立健全常州排水数据资产体系,实现对数据的有效管理和利用,提升企业运营效率、决策能力,推动企业可持续发展。


4.2 实践中的挑战与解决方案

1)数据分散和碎片化:组织内部可能存在多个系统和数据源,数据分散且碎片化,难以统一管理和利用[9,10]。解决方案:建立数据集成标准与机制,通过数据集成平台或工具将各系统和数据源的数据整合到统一的数据仓库中,提供统一的数据视图和访问接口。


2)数据质量问题:数据质量问题包括数据准确性、完整性、一致性和时效性等方面的问题,影响数据可靠性和可用性。解决方案:建立数据质量管理规范,包括数据清洗、去重、纠错、验证和监控等环节,确保数据质量满足需求。


3)数据安全与隐私保护:在数据资产管理过程中,部分敏感信息,需要进行合理处置。解决方案:建立数据安全和隐私保护策略,包括数据加密、访问权限控制、数据掩码、数据脱敏等措施,确保数据在存储、传输和使用过程中的安全和隐私保护。


4)数据治理和合规性要求:数据资产管理需要遵守相关法规。解决方案:建立数据治理框架和策略,包括数据治理组织架构、数据管理流程、数据质量评估和监控机制,确保数据管理的合规性。


5)技术和人才支持:数据资产管理需要相关工具和人才支撑。解决方案:建立人才培养计划,培养数据管理人才,选择合适的技术工具和平台,提供必要的技术支持。


4.3水务企业数据资产发展趋势

从信息时代到数字时代,数据价值由记录业务逐渐转变为智能决策,成为组织持续发展的核心引擎。未来,数据资产管理将朝着统一化、专业化、敏捷化的方向发展。需持续提高数据资产管理效率,主动赋能业务,推动数据资产安全有序流通,充分发挥数据资产经济价值和社会价值。本文从管理理念、组织形态运营模式等方面讲述数据资产管理的发展趋势。


1)管理理念:从被动响应到主动赋能


随着数字化转型的不断深入,数据资产管理占日常经营管理的比重日渐增加,传统以需求定制开发为主要模式的被动服务模式,已难以满足数据服务响应诉求。需逐步在各业务条线设置数据管理岗位,定期收集数据使用诉求,构建数据资产管理需求清单,解决数据资产管理难点,跟踪数据应用效果,主动赋能业务发展。


此外,随着数据素养和数字技能的不断提升,数据使用者培养了主动消费意识和能力,以数据资产目录为载体、以自助式数据服务为手段、以全流程安全防护为保障的数据资产管理模式正在形成,在提升数据服务水平的同时,进一步提升数据应用的广度和深度。


2)组织形态:向专业化与复合型升级


数据资产管理部门的职能正逐步朝独立化、专业化方向发展。对于政府,由专门的政府机构承担,在业务部门设立数据管理兼职岗位,首席数据官(Chief Data Officer,CDO)制度也出现在深圳、浙江等地的规划中。深圳市印发的《深圳市首席数据官制度试点实施方案》提出在市政府和有条件的区、部门试点首席数据官制度,明确职责范围,健全评价机制,创新数据共享开放和开发利用模式,提高数据治理和数据运营能力,覆盖决策、管理、设计、维护等领域的数据资产管理专业组织形态已逐步显现。对于企业,广东、上海等地发布相关政策鼓励企业设置首席数据官。广东省工业和信息化厅于2022 年出台了《广东省企业首席数据官建设指南》,鼓励在企业决策层设置首席数据官,以制度形式赋予首席数据官对企业重大事务的知情权、参与权和决策权,统筹负责企业数据资产管理工作,加强企业数据文化建设,提升企业员工数据资产意识,建立正确的企业数据价值观。


数据资产管理组织正逐步形成以首席数据官为主导、业务部门与IT 部门协同参与的模式。Gartner 2021年报告显示,75%的公司将首席数据官 视为与IT、HR 、财务同样关键的职务。此外,在业务部门与IT 部门设置专职或兼职数据管理员,推动数据资产管理有效开展。


3)运营模式:构建多元化数据生态


有效运营数据是持续创造数据价值的方式,多元化数据生态通过引入多维度数据、多类参与方、多种产品形态,进一步拓展数据应用场景和数据合作方式,为数据运营提供良好的环境。

全部回复(0 )

只看楼主 我来说两句抢沙发
这个家伙什么也没有留下。。。

市政给排水

返回版块

23.64 万条内容 · 837 人订阅

猜你喜欢

阅读下一篇

雨水调蓄池的定义与作用

   一、调蓄池的基本概念 1、调蓄定义

回帖成功

经验值 +10