数字中国建设峰会
返回
王桥在第六届数字中国建设峰会数字生态文明分论坛上的主题演讲
中国工程院院士
发布时间:2024-06-26 10:26 文章来源:峰会组委会秘书处
生态环境大数据技术与应用
王桥
中国工程院院士

我从生态环境应用的角度来看大数据技术,谈一些认识。

一、从生态环境应用的角度来看大数据技术

大数据已经发展成为对数据量巨大、来源分散、格式多样的数据进行采集、存储和分析,并从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务的业态,它有很多特点,包括巨量性、复杂性、动态性、分析性、高值性等。大数据的技术体系日益完善。从存储来讲,有文件存储、对象存储。从数据库来讲,从关系型数据库、分析型数据库,发展到图数据库、时序数据库。从管理来讲,发展出一系列分布协同、集群管理、工作流管理等。从处理来讲,从流计算到图计算、批量计算等。在建模方面,进入大模型阶段,有数据集成、数据建模等技术。大数据的核心技术是分析,发展了数据挖掘、深度学习、图分析、BI工具、数据可视化等。在安全方面,形成了完善的隐私计算、身份认证等,还有大量的开源软件供大家用。

生态环境大数据是以大数据技术为驱动,面向生态环境保护的需求,获取分析和提升管理水平,也是新一代的环境信息技术。主要任务是数据分析和挖掘,通过对海量的、多元的、异构的、复杂的生态环境数据的处理和分析,挖掘出生态环境数据背后的知识,也是发现新知识、创造新价值、提升新能力。从生态环境大数据技术来讲,主要关注的是应用,技术链条主要从数据采集到数据处理、数据分析、数据表达、数据应用,应该有一系列技术。

物联网感知是常用的,生态环境监测、应用都是最典型的一种物联网的应用领域。互联网抓取技术,在生态环境领域也成为一个非常有效的工具,可能实现把“人找数据”变成“数据找人”。数据清洗,比较核心的是机器学习,让计算机从已有的大量经验和数据的理念,去学习新的知识,通过训练集,不断地识别新的特征、不断地建模,形成有效应用的模型。数据挖掘,从大量数据里面搜寻出隐藏其中有价值的信息,常用的有关联分析、聚类分析、分类分析、异常分析、特异群组分析、演变分析等。知识图谱,把碎片化的信息技术关联整合后,从环境、地理、时间等多个视角建立信息的一些特征图谱,揭示多维对多维的复杂的映射关系。另外可视化,对生态环境的信息化起到了非常大的支撑作用。

从传统方法跟大数据方法比较来看,从应用的任务流来看,数据采集方面由传统的定点的采样、人工的抽样,发展成为时空连续、全量获取、“天地一体化”的采集。包括基于物联网的智能感知、众包等等。在数据处理方面,从原来的独立存储,创新处理为主的之后的一些数据处理,发展成为虚拟化的云存储,发展成为集群的并行处理和实时处理。在数据分析方面,传统方法主要针对有限样本,以因果分析、物理建模、单指标的要素统一汇总为主,大数据技术是面向所有样本进行数据分析,可以实现以数据为驱动的相关分析、深度挖掘,不受机理模型认知所限,有可能实现机械的穷举来找出答案。在数据发布方面,原来以定期发布、文字统计图表发布为主,大数据技术发展使得发布可以实时生成、按需推送、三维可视化、进行多媒体监控平台。所以,大数据的技术对于生态环境的推动、支撑力度,都是前所未有的。

二、大数据在生态环境领域应用

大数据的用途是十分广泛的。这个背景主要是新时代生态环境保护的难度加大,这里面大家常看到的,有大量的问题还没有得到根本的解决。另外,新时代生态环境保护的任务也加重,环境治理现在讲的是综合治理、系统治理和源头治理。

生态大数据的必要性我这里总结成几个方面,就是新时代生态环境保护的工作,面临新的形势、新的要求和新的任务。这种情况下,生态环境大数据可以起到重大的支撑作用,这里面主要表现在:

第一,通过生态环境大数据技术的应用,让花费巨大代价所获取的,甚至处于半休眠状态这样一些海量的生态环境数据张口说话。

第二,把环境管理决策亟需的、隐藏在海量数据背后的新知识、新规律挖掘出来。

第三,为传统的技术无法解决的这样一些海量数据的高效处理和分析,提供全面的解决方案。

第四,利用大数据技术支撑新时代生态环境保护工作,走向高时效、高精准、高协同、高预见、高智能。

我这里只能举这样一些例子说一说。在智能感知方面,利用大数据技术,基于物联网、基于5G、基于卫星遥感等等,来全面地感知、实时监控、自动获取全量的生态环境信息。

另外一个应用场景就是生态问题的诊断,利用流式大数据在线处理分析等各种大数据技术,可以来主动发现生态环境的异常,精准地来识别生态环境问题的位置、类型分布、污染程度等等,来自动实现我们生态环境问题远程核查、强度解析、动态生成问题清单。

在过程和模拟方面,可以基于大数据的技术,可以来全程模拟生态环境的事前、事中和事后的变化过程、趋势、强度和影响。可以基于可视化的分析等等,以一张图的形式,来多维度、多尺度、多要素地展示生态环境演变的趋势。

在生态环境质量的预警预测方面,利用生态环境大数据,可以从海量、分散、来发现生态环境恶化的信息,分析它的影响的范围、路径和受体,来预测我们污染物超标和生态系统受损,预警我们可能出现的污染区域、时段、主要污染物等等。

在生态系统的综合评价方面,可以基于大数据技术,揭示生态系统的格局、生态系统服务的功能、生态退化等等这样一些时空演变特征和规律,来综合评价我们生态系统的质量、脆弱性、敏感性等等。

在“三线一单”的分期管控方面,可以利用大数据的技术来解析生态红线的范围、生态功能、土地利用等是否改变,排放总量、强度是否超出环境容量和污染物的允许排放量,可以得到比较系统、完整的方案。

在环境污染事故预警应急方面,可以利用大数据来识别风险源和环境风险它们之间潜在的一些耦合的规律,来构建风险企业全息档案,来实现污染事故精确的标识和动态监控,还可以来进行事故应急处置方案自动的生成,包括最优路径分析等等。

在减污降碳的综合决策支持方面,可以来构建全口径的污染排放清单,耦合环境质量模型和污染物排放估算的模型,来评估减污降碳的潜力,来基于环境质量提升和碳排放量降低的多目标,来生成最优的减污降碳的措施方案。这方面的工作我们最近也是越来越多了。

三、生态环境大数据的应用场景

最后,在大数据平台方面,我这里也讲两个方面的情况。一方面,目前各地的生态环境保护部门都已经越来越认识到生态环境大数据在新时代的生态保护中的重大作用,主要还是对于大数据分析、大数据深度的挖掘这方面工作力度还不够。另一方面现有的平台,他们的主要的功能还局限于数据的汇集,包括展示和简单的统计分析。从大数据平台建设方面,目前迫切地需要来发展生态环境大数据的分析和挖掘的专用的算法、工具软件,我们需要来提升我们技术人才的队伍。

这里也有一个简单的建设思路,就是我们还是要基于大数据的这种云计算、云设施、云服务这样的能力,把数据能够转化成信息、转化成知识、转化成服务、转化成决策。

这里,我们现在也正在做一个具有普适性的大数据平台的建设构架,也马上进入一些招标的工作,设计已经完成了,大概从设施层、数据层、支撑层、应用层和服务层来进行构建,包括标准规范,这样一些框架也可以给大家提供一定的参考。

四、生态环境大数据带来了新的思维

主要表现在我们可以将过程因果的思维转变成为数据相关的思维,传统的思维都是以机理模型为主,强调用公式描述一个准确的因果关系,强调物理建模。我们的大数据思维可以来打破过程因果这样一个思维的局限,不再受限于各种假设,以数据为中心来建模,来进行研究。通过数据的相关分析可以获取新的知识,来发现以前不曾发现的这样一些数据的关系。

大数据带来的一个新的思维就是,可以由数据抽样的思维转变为数据全量的思维。我们可以基于海量的生态环境的采集能力和我们数据全量的思维,来分析和处理全过程、全相关的数据。数据量越大,包含的信息越全面,真实性越好,大数据时代使得这一切都成为可能。

数据精准的思维转变为数据高效的思维。在传统的思维里边,生态环境数据采集和处理都要求要高精度、高精准,对精度的要求越高越好。我们不允许有个别数据的误差,由此带来效率往往跟不上环境的变化。在海量的数据有获取的手段、有分析能力的时候,关注数据采集的效率和处理分析的速度。通过大量、全面、高效的数据获取,来实现精度和效率的兼得。

大数据技术对我们生态环境保护工作也带来了一系列新的突破。我们模型驱动的生态环境的研究体系可以转变成为数据驱动的生态环境的研究体系;以采样、抽样为主的环境监测,可以转变为时空连续、全量获取的智能感知;静态的、被动的、滞后的生态环境监管,可以转换成为动态的、实时的、智能的生态环境监管。

我的汇报就到这里,谢谢大家!

(以上内容根据嘉宾发言速记整理)

扫一扫在手机上查看当前页面

附件下载