Research on Water Resource System Analysis and Decision-making
Methodology Based on Big Data
周少鹏 ZHOU Shao-peng；侯俊杰HOU Jun-jie；
薛惠锋 XUE Hui-feng；王海宁 WANG Hai-ning
（中国航天系统科学与工程研究院，北京 100048）
（China Aerospace Academy of Systems Science and Engineering，Beijing 100048，China）
摘要：针对水资源数据呈现的大数据特性，研究大数据驱动的水资源系统分析与决策关键技术方法。在分析传统方法局限性的基础上，提出“数据＋规律＋调控”的水资源系统分析与决策新模式，论述了制约水资源大数据分析应用的主要问题，总结提出了实现水资源系统大数据分析的关键技术，以期为实现大数据驱动的水资源系统分析与调控提供参考。
Abstract： Aiming at the big-data characteristics of water resource data，system analysis and decision-making method driven by big data were researched. Based on the limitation of traditional methods, this paper puts forward a new "date, rule and regulation" decision-making pattern. The main problems of the application of water big-data were discussed. The key technologies to realize the water resource system big-data analysis were put forward. This study could provide important references for water resource system analysis and regulation driven by big data.
关键词：大数据；水资源；系统决策；关键技术
Key words: big date；water resource；system decision-making；key technologies
中图分类号：TP315；TV213.4 文献标识码：A 文章编号：1006-4311（2019）22-0249-04
0 引言
随着物联网、大数据等新一代信息技术发展，智慧水利、智慧城市建设等在全国范围内迅速推进。智慧水利是通过物联网技术设备自动采集水量、水质等水资源数据，通过有线或无线数据传输技术实时传输给信息平台，在大数据等信息技术的协作下，完成水资源海量数据的分析、决策以及可视化，进而支撑水资源系统科学决策与调控。水资源数据是开展水资源系统分析与决策的核心，自20世纪80年代以来，我国国家水行政主管部门就开始研究和探索水资源数据管理[1]，结合重大信息化建设项目、资源调查与普查专项工作以及日常工作等产生和积累了海量水利数据。
水资源数据呈现典型的规模性（volume）、多样性（variety）和高速性（velocity）等大数据特征。①规模性，我国水行政主管部门已经具备了对全国取用水户、水功能区等基层水资源管理对象实时监控的能力，掌握了30多万份取水许可台账等具体的业务数据，各类日常监测数据集成将达到PB级[2]。②多样性，水资源数据管理具有多主体、多客体、多层次、多目标、不确定性等特征，这些特征决定了需要对区域及流域水资源整体分布、水量、水质等全要素信息进行全面掌握，针对统计、市政、环境、农林等不同管理需求，所需监测对象、数据类型、数据格式等多种多样，数据多元异构特征突出。③高速性，以水质监测为例，目前部分水质监测站采样频率可达15分钟/每次、监测指标多达20余项，在开展河流断面水质监测时，需具备数据快速识别、响应能力。
在大数据概念出现之前，利用现代信息技术解决水资源管理决策问题主要依托知识与机理建立准确模型，并利用高效算法来进行系统分析预测并支撑系统调控，一般包括数据采集、将数据代入机理模型、最终形成结果三个阶段。以水资源调度决策过程为例，需首先明确调度目标，梳理影响因素，明确目标与影响因素的因果关系，将因果关系转化为数学模型，包括约束、目标等；进而选择适用的算法，通过调整目标、约束等参数，计算结果，如图1所示。因此，解决问题的关键是能否能够掌握要素与目标间的因果机理关系，建立精确的模型和高效算法。但将既定数据代入已知机理模型，形成预期结果的方式并不具备智能特征。随着水资源管理需求多样化水平越来越高、精细化要求逐渐提升，传统的“因果＋建模＋算法”模式面临诸多不足。
■
在大数据背景下，存在着利用大数据挖掘量化数据值之间的数理关系，以更容易、快捷、清楚地分析事物间内在联系，为人们观察并分析事物提供新视角的可能[3]。通过挖掘水资源大数据关联关系，有效发掘数据关系中隐藏的水资源管理规律和知识机理，可以通过数据绕过机理直接形成结果，实现真正的智能决策。本文针对水资源系统管理的大数据应用，研究基于大数据的水资源系统分析与决策新模式，总结当前应用水资源大数据存在的主要问题及所需理论与技术支撑，以期为大数据驱动水资源管理提供参考。
1 基于大数据的水资源系统分析与决策新模式
2017年5月，水利部颁发《关于推进水利大数据的指导意见》[4]，明确指出水利是大数据产生和应用重要领域之一，历年来，水利结合重大信息化建设项目、资源调查与普查专项工作以及日常工作等产生和积累了海量水利数据，对认识水利规律、强化水利管理、谋划水利未来均具有重要价值。大数据时代，可以应用一体化数据管理与集成技术实现异构海量动态水资源数据的透明访问与高效读取，通过聚类、时序分析、深度学习等挖掘水资源数据间的关联关系。例如，在水质监测预警工作中，收集汇总水质结果数据、监测指标数据以及统计、市政、农林等相关数据，然后利用深度神经网络等机器学习方法，搭建以水质监测指标数据为输入层，气象、市政、农林等水资源统计数据为隐藏层，水质监控结果数据为输出层的复杂结构深度神经网络，通过各层连接关系的相关性系数，认知水质监测数据之间的关联关系，进而将水资源数据提升至水资源系统信息、知识和规律，支撑水资源系统调控。
大数据的创新应用，为水资源管理等复杂系统分析决策提供了新途径。首先，通过传感器、物联网、数据挖掘等，更加精细化、规模化获取线上、线下水资源数据，并通过优化元数据定义和高效查询读取，实现多元异构数据的一体化管理；其次，通过数据挖掘等方式，研究数据关系，进而提取数据背后的隐含规律与知识；最后，利用从规律中寻找的关键序参量，建立基于大数据的系统调控模型，通过控制关键序参量实现整个水资源系统的优化目标。按照上述思路，形成了基于大数据的“数据+规律+调控”的水资源系统决策新模式[3]，如图2所示。其中，①数据是指通过水资源监测、挖掘等建立数据库，形成的海量可用数据，这些数据能够被协同地用于描述或解释某些水资源系统现象；②规律指通过水资源大数据关系挖掘，从水资源大数据中提取关键信息、从关键信息中演化出的系统规律，能够反映水资源系统结构、功能关系，并逐步提升形成水资源管理的基础知识；③调控是指为实现系统目标，根据上述系统规律，对水资源系统的要素功能、结构关系进行控制，从而达到水资源管理目标的过程。通过识别水资源数据背后反映的规律知识，针对水资源系统优化利用等目标，可以建立科学的水资源管理、调控机制。
2 制约水资源大数据应用的主要瓶颈
通过国家水资源监控能力建设、国家防汛抗旱指挥系统等项目的实施，国家水资源监控体系已初具规模。目前，水的监测国控点有近2000个，已建立水资源基础、业务、管理、监测、多媒体等五大类数据库，建成取用水户、水功能区、省界断面三大监控体系和中央、流域、省三级信息平台，可有效支撑水资源业务日常运转[1]。但推进水资源数据充分应用中仍存顶层理论不足、数据完备性、真伪性、功效性不高等瓶颈问题，亟需进一步提升“数据意识”[5]，提高数据监测质量的真实性、准确性、可靠性。
2.1 数据应用顶层理论不足，难以系统指导水资源大数据战略实施
2015年7月，国务院印发《促进大数据发展行动纲要》[6]，掀起了大数据在国内国民经济各领域的研究应用热潮。在水资源大数据战略实施方面，2017年5月，水利部颁发《关于推进水利大数据的指导意见》，要求健全水利数据资源体系、实现水利数据有序共享开放、促进水利数据开放应用。但总体看，水资源大数据研究应用的政策驱动性较强，理论和技术积累不深。当前重点工作主要围绕大数据水资源分析模型研制及示范应用开展，水利大数据资源化及其关键技术尚未全面梳理，尤其是缺乏实现水资源系统从数据到信息、从信息到知识、从知识到决策的顶层理论支撑，缺乏大数据时代从定性到定量综合集成、从综合集成到综合提升的系统工程理论和方法技术体系指导。
2.2 数据完备性不足，难以有效支撑水资源管理决策
我国水文、水资源、水利工程等基础数据管理的研究探索起步于上世纪80年代，但受技术、经费等限制，数据库管理不够规范、建设标准不够统一，数据质量参差不齐。近年来，随着智慧城市建设，我国水资源数据体系建设明显加快，全国各地相继建立水利门户、三防决策、视频监控、水库监管等各方面的信息系统。水资源数据管理也从最初的分散独立管理，发展到现今的规范化、标准化的集中与分散相结合的管理[1]。但限于水资源监测存在监控环节多、链条长等问题，全面获取各个环节数据的难度依然很大，相当一部分数据必须通过数据加工、分析、处理等手段获取。以用水量为例，虽然具有海量信息，但由于共、用、耗、排水等环节的监控点布置不完备，导致现有水资源监控能力不足，难以支撑最严格水资源管理制度考核。
2.3 数据真伪性不明，无法真实反映水资源管理现状
我国着力推动环境监测网络建设，截至2018年已建成水监测国控点1940个，并通过体制机制创新、加大查处力度、改进技术措施等，全面确保监测数据的真实性、准确性、可靠性。但水资源实际管理需求多样、监测条件复杂多变，国控点建设远远难以满足需求。面向不同业务需求，我国水资源监测主体各异，各主体间存在条块分割现象，防汛抗旱、城市用水、农林用水、水环境保护、水利工程等业务管理数据库虽建设迅速，但仍然存在信息孤岛现象。以水质检测为例，现有数据来源包括人工采集、传感器实施采集和网络抓取等，不仅要采集水质相关特征数据，还要采集周边环境、排污状态、地形地貌等其他数据[7]，采集多源性和数据多样性导致数据真伪难辨，部分数据无法真实反映水资源管理现状。
2.4 数据功效性不高，限制决策支持效能发挥
水资源数据管理具有多主体、多客体、多层次、多目标等特征，统计数据、气象数据、环境数据、市政管理数据等不可避免具有多样性、多模态和强关联性等特征，而城市绿地面积、气温、养殖、农药化肥施用[8]等部分关联数据甚至与水完全无关。由于数据源不同、数据结构和类型不同，多元异构的海量数据不可避免的存在冗余和数据关联性被割裂的情况，导致数据应用效率较低，提供决策信息有限，难以充分发挥数据的功能和价值。为了更大限度地提高数据功效，亟需对水资源数据进行集成分析；亟需建立面向不同决策主体的水资源评价、预测、预警、决策、调控等分析模型工具，实现水资源数据功能的综合提升。
3 推进水资源大数据应用的关键技术分析
大数据技术是高效率、大规模的对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的技术[5]。围绕“数据＋规律＋调控”系统分析决策新模式，针对水资源管理中存在的瓶颈问题，亟需建立水资源系统运行分析与决策的关键技术体系，包括建立水资源大数据系统工程理论，突破数据处理与关联分析、数据挖掘与融合方法、数据集成与决策支持等关键技术，从而有效发挥数据在水资源管理与决策中的支撑作用，如图3所示。
■
3.1 构建水资源大数据应用的综合提升系统工程理论
水资源具有政治、经济、社会、生态等多重属性，水资源大数据及其构成具有多元、海量、联动等特性，具备开放复杂巨系统的典型特征。因此，推动建立基于大数据的水资源系统管理分析与决策新模式，促进大数据有效应用，应当遵循开放复杂巨系统理论，以系统工程为指导，尤其是以解决开放复杂巨系统问题的钱学森综合集成理论及其新进展——综合提升理论为指导。综合提升方法论的核心是，融合“综合集成理论[9]”的定性到定量相结合与“旋进原则”的有效循环和持续提升，同时将“梯级涌现”特征作为系统提升过程中的阶段收敛特征，将系统“满意状态”的“软目标”作为系统调控的主要遵循，在集成和循环过程中使系统在整体上持续涌现出更满意的和更好的功能，最终实现系统状态从不满意到满意的目标提升。面对水资源大数据完备性、真伪性、功效性不足问题，必须以综合提升理论为指导，通过定性与定量相结合、人机结合、人网结合来系统谋划解决；应当根据水资源大数据的实际条件明确系统梯级目标，持续推进水资源大数据的数据融合与数据挖掘工作，合理确立可接受的数据关联关系准确性和规律真实性的“满意状态”；通过持续改进和循环提升，最终建立系统完备、真实可靠的水资源大数据的数据、技术、模型、调控体系，涌现出真实有效的水资源知识与规律，并逐步将数据综合集成的成果提升到可直接用于支撑具体决策的层面，真正发挥水资源大数据支撑水资源系统分析与决策调控的价值与功效。
3.2 研究水资源数据处理及关联性分析技术
面对水资源数据完备性不足及数据的多元、稀疏等特性，在进一步加强监测系统建设的同时，亟需研究和采用先进的数据处理与关联性分析技术。要研究高效的信号处理技术获取可靠的水资源监测数据，解决传统水文监测数据和经济社会用水排水数据同时存在的稀少、海量、异构等问题，实现水资源数据的有效获取与快速传输，包括基于压缩感知理论的稀疏采样方法、低秩矩阵恢复技术、基于张量结构分析的矩阵填充技术等。自然与社会水文循环过程的变化频率范围分布很广，压缩感知作为一种新兴的信号处理技术，通过在稀疏约束条件下求解混合范数的稀疏解，可有效实现信息获取和信号重建。此外，多元水资源数据具有高维结构，采用传统的矩阵分解对数据进行分析会破坏数据的高维结构信息。作为矩阵分解方法的扩展，张量分解在处理高维数据时能保持数据的高维结构，可有效应用于水资源统计、信号处理、语言学等多个领域中。通过水资源数据处理与关键分析技术研究，可有效解决水资源数据完备性不足问题。
3.3 研究水资源数据挖掘与融合方法
面对水资源数据真伪性不足及来源多样、层次结构复杂等特点，一是需系统梳理数据结构，协调自然环境本底数据、经济社会用水数据、水资源管理业务数据等多类数据成果，克服现有水资源数据信息孤岛、实现数据互联互通。二是在技术上应突破多元数据挖掘与融合方法。具体包括：基于分形理论的机器学习方法和分形聚类技术，基于协方差交叉算法、D-S证据理论的多传感器融合方法，基于矩阵分解的异构数据融合方法等。水资源监测产生的海量数据具有高维的特性，分形学习利用监测对象的自相似性作为推理和学习的基本依据，为描述水资源非线性复杂系统提供了简明有力的几何语言。水资源监测数据来自于多个不同类型的传感器，获取的数据相关性未知，需要利用协方差交叉算法进行处理。同时，由于水资源自然循环的不确定性和社会循环的复杂性，使监测数据具有明显的混沌特性，证据理论能满足不确定条件下推理的难题。水资源监测数据来自多个异构的数据源，基于矩阵表述的数据融合方法能将任意数据表示为矩阵形式，并通过矩阵分解算法自动检测数据之间的相关性。通过上述水资源数据挖掘与融合方法研究，可有效克服水资源数据真伪性不明问题。
3.4 开发水资源数据集成及决策支持模型工具
要实现基于大数据的水资源系统分析与决策新模式，充分发挥水资源大数据的功效与价值，需通过数据集成技术解决数据管理中暴露出来的简单性、孤立性及公信力缺乏等问题，揭示其科学规律。一是应建立水资源本体数据集成体系，全面厘清水资源数据内涵、结构和功能；进而在系统工程指导下，构建面向决策支持应用的水资源数据集成体系，为系统决策模型应用提供数据基础；二是面向最严格水资源管理的三条红线，建立基于大数据的决策支持评价预测模型，发现数据规律、支撑水资源管理决策与调控；三是结合具体实践，研发智慧水资源数据融合与决策支持平台，为水资源大数据应用提供工具支撑。通过数据集成与模型开发，可以有效支撑底层的数据库、方法库、模型库构成完整的大数据决策支持体系；通过技术工具开发与持续改进，可逐步形成面向智慧水资源管理的大数据决策支持平台，更有效实现从水资源数据到信息到知识到决策到调控的系统分析与决策新模式。
4 结语
自大数据概念提出以来，全球范围内运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势。大数据的提出与应用，为开展数据挖掘与知识发现提供了新范式，为开展开放复杂巨系统分析与决策提供了新途径。本文通过系统分析大数据的功效机理，提出了水资源系统分析与决策新模式，梳理了当前应用水资源大数据存在的主要问题，提出了亟需研究突破的基本理论和关键技术，旨在推动建立“用数据说话、用数据决策、用数据管理、用数据创新”的水资源系统管理新机制，实现基于数据的科学决策，推进社会治理模式和治理能力现代化。
参考文献：
[1]王海宁，薛惠锋，蒋云钟，万毅.运用系统思维推进水资源数据管理[J].中国水利利，2016，02.
[2]杜红艳，薛惠锋，侯俊杰，王海宁.面向智慧水利的水资源数据融合探析[J].中国水利，2018（23）.
[3]张洁，高亮，秦威，吕佑龙，李新宇.大数据驱动的智能车间运行分析与决策方法体系[J].计算机集成制造系统，2016，05.
[4]中华人民共和国水利部.关于推进水利大数据发展的指导意见[A].北京：水利部网络安全与信息化领导小组办公室，2017.
[5]冯钧，许潇，唐志贤，徐黎明.水利大数据及其资源化关键技术研究[J].水利信息化，2013，08.
[6]国务院.促进大数据发展行动纲要[EB/OL].（2015-08-31）[2017-06-20].http://www.gov.cn/zhengce/content/2015-09/05/content_10137.htm.
[7]邵璇，田文君.基于大数据的水质监测技术初探[J].科技传播，2018，04.
[8]杨宇，谈娟娟.水利大数据建设思路探讨[J].水利信息化，2018，04.
[9]曹宇，薛惠锋，万毅，徐源.基于综合集成研讨厅的初始水权分配决策支持系统体系研究[J].价值工程，2017，15：62-64. |
