水利工程是稳定生产和保障民生的重要基础工程,按照建设网络强国、数字中国、智慧社会的总体部署,加强新一代信息技术的应用,推进智慧水利工程建设,是全面落实“两新一重”要求、积极践行水利改革发展总基调、驱动水利现代化发展的必由之路。随着新一代信息技术的发展与应用,“大数据 行业”渗透融合全面展开,成为促进生产生活和社会管理方式创新变革的重要驱动。为全面推动落实党中央、国务院关于大数据发展的系列决策部署,水利部印发了《关于推进水利大数据的指导意见》,这标志着水利大数据发展进入了一个新阶段,在此背景下,充分认识大数据在水利改革发展中重要作用,分析水利大数据发展和应用面临的机遇与挑战,研究水利数据管理的有效途径,明确水利大数据发展和应用方向,显得尤为必要。珠江三角洲水资源配置工程(以下简称“珠三角工程”)是国务院批准的《珠江流域综合规划(2012—2030年)》提出的重要水资源配置工程,是国务院确定的全国172项节水供水重大水利工程之一。珠三角工程以“打造新时代生态智慧水利工程”为建设目标,利用物联网、云计算、大数据等新一代信息技术,实现高新技术与工程业务的深入融合,推动珠三角工程的智慧化建设,为提升水利工程质量和保障工程稳定运行提供有力支撑。随着珠三角智慧水利工程建设的推进和发展,积累了大量的工程数据,这些数据蕴含着巨大的数据价值,需要全面汇聚安全、质量、进度、资金、调度、运维等工程数据,利用云计算,通过模型分析和算法推演等大数据方法,深度挖掘工程建设和运行管理中的数据价值,从数据中寻找规律、预测未来,利用数据增强决策支持能力,提升工程的精细化管理能力。从珠三角工程大数据的实际应用出发,通过分析研究工程大数据特征、分类、构成、治理方法和辅助决策应用,以此开展工程大数据在水利工程建设管理中的应用研究,为实现水利工程智慧化建设提供坚实基础和强力驱动。
水利工程是稳定生产和保障民生的重要基础工程,按照建设网络强国、数字中国、智慧社会的总体部署,加强新一代信息技术的应用,推进智慧水利工程建设,是全面落实“两新一重”要求、积极践行水利改革发展总基调、驱动水利现代化发展的必由之路。随着新一代信息技术的发展与应用,“大数据 行业”渗透融合全面展开,成为促进生产生活和社会管理方式创新变革的重要驱动。为全面推动落实党中央、国务院关于大数据发展的系列决策部署,水利部印发了《关于推进水利大数据的指导意见》,这标志着水利大数据发展进入了一个新阶段,在此背景下,充分认识大数据在水利改革发展中重要作用,分析水利大数据发展和应用面临的机遇与挑战,研究水利数据管理的有效途径,明确水利大数据发展和应用方向,显得尤为必要。珠江三角洲水资源配置工程(以下简称“珠三角工程”)是国务院批准的《珠江流域综合规划(2012—2030年)》提出的重要水资源配置工程,是国务院确定的全国172项节水供水重大水利工程之一。珠三角工程以“打造新时代生态智慧水利工程”为建设目标,利用物联网、云计算、大数据等新一代信息技术,实现高新技术与工程业务的深入融合,推动珠三角工程的智慧化建设,为提升水利工程质量和保障工程稳定运行提供有力支撑。随着珠三角智慧水利工程建设的推进和发展,积累了大量的工程数据,这些数据蕴含着巨大的数据价值,需要全面汇聚安全、质量、进度、资金、调度、运维等工程数据,利用云计算,通过模型分析和算法推演等大数据方法,深度挖掘工程建设和运行管理中的数据价值,从数据中寻找规律、预测未来,利用数据增强决策支持能力,提升工程的精细化管理能力。从珠三角工程大数据的实际应用出发,通过分析研究工程大数据特征、分类、构成、治理方法和辅助决策应用,以此开展工程大数据在水利工程建设管理中的应用研究,为实现水利工程智慧化建设提供坚实基础和强力驱动。
1基本特征
随着大数据相关技术和应用的不断更新和发展,大数据的概念也在不断完善。业界普遍认为大数据具有4V特性,即海量的数据规模(Volume)、快速的数据流动(Velocity)、多样的数据类型(Variety)和巨大的数据价值(Value),这也成为判断是否构成大数据的基本指标。珠三角工程包括隧洞、管道、泵站、闸门、水库、盾构、塔吊等工程对象,涉及安全、质量、进度、资金、环境、水情、水质、调度、运维等众多要素,所产生的数据纷繁复杂,具有来源多样、结构多维、更新实时等大数据基本特征,具体如下:
1)数据量大,来源及形式多样:珠三角工程数据来源广泛,涉及工程运行的各个阶段,包含珠三角工程全线数万台监测设备每秒产生的大量监测数据,以及涉及数十万模型构件的珠三角工程全线设计、施工BIM模型数据;同时,在工程建设运行管理过程中,还会产生大量的管理数据、调度运行数据、工程运维数据等,数据年增长总量约为1TB,且具有结构化、半结构化、非结构化的大数据结构特征。
2)数据持续增长,数据价值高:随着水利工程的建设运行,信息化应用的不断深入,监测密度与指标的不断完善,相应的建设运行数据增长速度也将不断加快,而这些数据是水利工程建设、管理及决策分析的依据,蕴含着巨大的数据价值。
3)数据动态变化,实时性强:水利工程数据具有明显的动态变化特征,如水量水质、水生态、水文地质条件等数据,在不同时间、不同空间均会呈现不同的动态变化规律;工程BIM模型具有明显的时空分布特征,需要随着工程进度不断地调整完善,如泵站、隧洞等工程对象在设计、施工、竣工阶段的模型均会呈现出不同的状态;同时,水利工程对于数据的实时性及准确性具有较高的要求,如工程安全监测、智慧工地监测、质量检测、调度运行等数据,是判别工程是否正常运行、是否启用应急预案等的依据。
4)数据相互影响,关联紧密:水利工程各类数据之间是相互影响、互相关联的。如工程进度与工程标段划分、现场设施配备状况、施工环境、天气情况等数据关联密切;再如工程险情与工程设计参数、水情、雨情、地形地貌、工程水文地质等数据息息相关。因此,工程各类型数据之间并不是完全独立的,而是相关影响、相互关联的,具有较为复杂的关系。
2分类体系
珠三角工程大数据的分类体系通过制定工程对象分类分级、工程对象编码及数据资源模型等标准,从而形成统一遵循的标准,为后期数据管理打下坚实的基础。
1)工程对象分类标准:将工程对象划分为工程主体和工程辅助设施两大类。其中工程主体划分输水干线、隧洞、闸门、泵站、管道、水库等;工程辅助设施划分主要设施、附属设施和相关设施,包括工程机械、工程电气、工程金属结构、工程消防、对外交通等。
2)工程对象编码标准:工程对象根据业务管理精细化程度,按照业务管理和实体归属层级进行编码。编码体系由多级构成,包括标段、工区、大类、小类等,如编码示例:GA101A0001000100101,按照编码体系“特征码 标段码 工区码 大类码 工艺位置码 感知对象类型(中类码) 流水号 感知单元码 感知项”进行编码)数据资源模型标准:将工程对象划分为标识和属性,以减少数据冗余、提高结构灵活性和数据间的易关联能力。其中对象标识表达本体的存在性和唯一性,属性表达本体可能存在的相关特征,如基本属性、业务属性、空间属性、BIM属性,以及标识或属性均有可能存在的时相特征等。
3主要构成
随着珠三角工程智慧应用有效、稳定和持续地运行,逐步形成并积累了大量的工程数据,这些数据又推动业务应用不断发展,最终为业务应用智能化打下数据基础[5]。珠三角工程大数据主要由基础、空间、BIM、工程管理、工程监测、调度运行、多媒体等7类数据构成,具体如下。
1)基础数据:包括工程建设单位、工程参建单位、工程标段、工区、单位工程划分、水利工程、设备设施、监测测站等基础信息;
2)空间数据:包括隧洞、泵站、水闸、水库、河流、测站、等基础地理信息、卫星遥感影像数据及倾斜摄影数据等;
3)BIM数据:包括工程挡水建筑物、输水建筑物、边坡工程、导流建筑物、运行管理建筑物等BIM模型数据,涉及几何表达精度、信息深度等级、数据格式等标准,以保证BIM数据的准确性、完整性、逻辑一致性;
4)工程管理数据:包括安全管理、进度管理、质量管理、投资管理、生态监测、环境保护、智慧工地等管理数据;
5)工程监测数据:包括工程安全监测、智慧工地监测、质量检测、施工环境监测、水土保持监测、水生态监测、水量水质监测等数据;
6)调度运行数据:包括调度运行方案、调度运行评价方案、工程调度指令、调度会商成果、需水来水数据等数据;
7)多媒体数据:包括工程建设、运行过程中的文档、图片、影像、声音、视频等数据。
4治理方法
珠三角工程大数据治理主要包括数据汇聚、数据清洗、数据融合、存储与服务等4个阶段。利用数据库开发技术、ETL技术、质量控制技术,实现数据的比对、清洗、建模、装载,针对数据进行归一化处理、一致性处理、图斑处理、实体编码与关联、质量检查,利用分布式存储与管理实现水利工程数据的存储与服务。
1)数据汇聚:通过WebService,前置系统、FTP,网络爬虫、Excel文件上传等多种方法,实现珠三角工程各类监测感知、相关业务系统及其他外部系统产生的关系型、时序型、半结构化、非结构化及地理空间数据的汇聚。
2)数据清洗:珠三角工程大数据采用全流程式数据清洗模式,通过数据过滤、数据补全、数据转换、数据去重、数据校验等环节,清除垃圾数据、补全缺失数据、修改数据格式和内容错误,获取“干净”数据资源,提升数据质量,保证数据规范可用。
3)数据融合:利用工程数据融合模型,以多业务应用数据为管理对象,建立跨业务、跨组织的数据融合与关联,有效整合分散的工程数据资源。
4)存储与服务:通过分布式资源调度、分布式存储管理和分布式数据服务技术,完成结构化、半结构化和非结构化数据的统一存储、高效管理和资源服务。
5辅助决策应用
在珠三角工程的大数据辅助决策应用中,通过构建工程安全、工程质量、工程进度、工程资金、工程调度、工程运维等大数据分析主题,利用人工智能方法,结合工程模型算法,实现了工程安全、质量、进度、资金、调度、运维的态势感知和趋势预测,为工程建设的精细化管理、工程调度的智能化决策、工程险情的自动化识别提供辅助决策支撑。
1)工程安全辅助决策:融合安全管理、安全监督、安全教育、安全隐患、安全监测等信息,运用工程安全大数据评价模型,基于数据驾驶舱可视化展现工程现场人、机、水工建筑物等的安全状态,实时构建工程安全的数字画像。通过模型推演分析,预测工程安全的未来趋势,结合工程安全的分级预警体系,动态提供安全预警,并精准定位工程的安全隐患,实现工程安全的有效管控。
2)工程质量辅助决策:融合质量计划、质量管理、质量检查、质量评定、质量检测等信息,运用工程质量大数据评价模型,综合评估工程质量,精准识别工程质量不达标部分,实现工程质量监督量化考核与有效管控。
3)工程进度辅助决策:融合进度计划、进度监控、资源监控、作业状态等信息,运用工程进度大数据评价模型,构建工程进度的数字画像,精准识别进度滞后的标段或工区。通过工程进度预测模型,推演工程进度未来趋势,辅助管理人员及时掌握进度态势,提前发现和处理工程进度风险,实现工程进度的有效管控。
4)工程资金辅助决策:融合工程总投资、工程概预算、工程变更、工程支付等信息,运用工程资金大数据评价模型,结合工程进度状态,对项目投资的完成比例进行分析,动态展现工程预付及实际支付的执行情况,实现对工程投资的全过程控制,辅助管理人员把控项目成本,实现工程资金的有效管控。
5)工程调度辅助决策:融合工程供水能力、用水计划、安全监测等信息,结合沿线各泵站流量、闸门开度、管道压力等数据,利用工程调度大数据模型算法形成调度方案,基于工程BIM GIS平台对调度方案进行分析预演,下达调度指令,提高水量调度的经济性和安全性。
6)工程运维决策:融合工程安全监测、水量水质、巡查检修、工程调度等信息,利用工程运维大数据算法,评估工程水工建筑物、机电设备、金结设备的健康状态,预测工程设备设施的健康态势,精准诊断与异常识别,为工程安全运行提供保障。