数据整合有哪些途径?

26.01.2015  12:31

  ◆陈天力

  互联网技术的发展带来了数据暴发式增长。多年来,各级环保部门都积极推进环保信息化建设,基本满足了业务数字化的需求。进入大数据和云计算的时代,参差不齐的环保业务系统、不一致的数据标准规范等都对环境数据整合造成极大的困扰,已经成为制约环境管理提标升级的重要瓶颈。

  近年来,杭州市积极开展智慧环保建设的实践,努力开展环境数据整合的探索,尝试走出一条新路。

  ★转变理念

  适应“让数据说话”新常态

  新《环保法》的实施、党的十八届三中、四中全会以及国务院《关于促进市场公平竞争维护市场正常秩序的若干意见》等都为构建“法治型、透明型、服务型”政府指明了方向,对网络虚拟政府部门的治理能力及指尖上的政务服务提出了新要求。环保是关系社会经济发展和民生的重大课题,更需要由符合规范且唯一的官方数据来支撑科学决策。同时,要深化体制改革,进一步落实企业的环保主体责任,从“公众监督部门、部门监督企业”的模式向“公众和部门共同监督企业”的模式转变,而这一系列转变都需要依靠环境数据来说话。

  ★整合数据

  核心是有效数据

  环境业务中会产生大量数据,但并不是所有数据都是管理部门及公众关切的。以需求为导向,有效数据是数据整合的核心。

  环保工作产生的业务数据包括环境质量数据、污染源数据、日常监管数据及运行保障数据,其中包括定量、定性半定量和定性描述等数据。对有效数据归集汇总的主要方法有4种,一是对已有业务数据库数据的确认,实现实时共享和更新;二是来源于物联感知设备,包括对环境质量自动监测、企业在线监测监控及其他数据采集设备等所产生数据比对审核后导入;三是其他部门共享数据的导入;四是手工录入的其他管理数据。

  ★统一数据字典

  三类数据整合技术路线

  有效数据要在环境资源中心实现数据整合,还需制定统一的数据字典标准体系,并增加数据的属性标签。

  数据字典标准体系可以实现不同业务系统对同一数据定义的一致性,便于数据跨系统调用和共享。属性标签是数据整合的关键和突破,通过细化数据属性,建立专门的数据属性标签库,才能实现数据与不同业务系统关联,实现对特定关联条件的响应。

  建立数据集合。对特定数据、数据经常变动、不同业务系统不一致等情况,根据“时间、空间、系统”的维度建立数据备注集合,主要适用于已确定有效的同类数据。

  分解细化。对数据在不同业务系统存在较强相关性的情况,依据时间轴等逻辑关系,将数据分解细化到足够小的单位时长来实现数据合并后的同一性,主要适用于同类新产生数据的唯一性整合。

  单向推送。一是为解决未公开的原始数据涉密问题,对于环境质量数据等采取由监测机构将结果数据通过数据接口单向推送至环境资源中心的方式,实现“推送即解密”。二是对于个别国(省)发软件难以通过数据接口改造方式实现互连互通等情况,采用在环境资源中心录入、自动模拟填写国(省)发软件或发送更新数据包等方式,实现环境资源中心向国(省)发软件的单向推送,达到数据的同一性和唯一性。

  ★完善数据服务模式

  内外兼修 上下联动

  在内部服务模式上

  以环境资源中心为基础、数据属性标签库为纽带,实现数据的互联共享,达到“任一系统录入,关联系统实时共享”的目标。

  在上下(环保部门)服务模式上

  以环境资源中心为基础,制定数据需求清单,实现上下环保部门环境资源中心之间的按需推送;在传输方式上建立加密信道进行传输,确保数据安全。

  在对外服务模式上

  一是要积极打造移动式虚拟化企业和民生服务平台,实现“数据多跑,人员少跑”。以行政许可管理为例,全面推行行政许可网上办理,分别采用“网上申报、全程在线、办结取件”、“网上预审、信任在先、办结核验”、“网上预审、一次告知、线下办理”等业务模式,提高工作效能。二是要按信息公开相关法律法规要求,分类别依法公开公众盼望知晓的环境数据;对一些敏感数据可采用区间数据、降低频次要求的综合平均数据等处理方式进行脱敏公布。此外,也要积极为企业主动公开数据信息提供互动平台,把好审查关,提高数据综合整合水平。

  作者系浙江省杭州市环境信息中心主任