中部某省会城市在智慧城市建设中，建成了全市唯一的跨全部门政务数据交换平台，并完成全市47个部门的83亿余条数据归集，每天同步采集政务数据超500类，形成了该市基础库数据和各类主题库源专题库数据。然而，由于业务量不断累积，政务数据资源池存储性能很快到达瓶颈，出现了数据处理效率急剧下降，作业调度堵塞等情况，直接影响到业务数据的汇聚和共享。
其实，这是数字时代下政府、企业普遍面临的痛点。那么，如何帮助这些以传统存储架构建设数据资源池的客户应对当前急剧扩大的数据量?在降低数据资产治理的成本，提高数据开发效率的同时，确保未来业务数据的稳定、有效治理呢?
近日，东软正式发布SaCa DataDev数据开发平台，旨在帮助政府和企业提升数据开发效率，降低大数据平台技术门槛，有效管理、治理并深度挖掘企业内部的海量信息资源，加速实现数字化、智能化转型，满足客户在数字时代对于数据开发的迫切需求。
作为东软数据中台解决方案的新成员，SaCa DataDev数据开发平台基于东软多年数据管理技术实践而推出，是一款分布式、易扩展的一站式数据处理作业开发与调度平台，拥有资源管理、脚本开发、作业开发、任务编排等功能，能够对数据采集、数据清洗、数据转换、质量检查、数据计算等多个数据处理过程进行统一调度和运维监控，快速完成基于多种大数据存储服务和计算引擎的DAG工作流创建和编排工作，形成可信、可用、有价值的数据资产。
该平台采用去中心化、分布式执行引擎架构，能够避免单个执行引擎任务过载，具有高可靠性的特点。此外，该平台提供可视化的脚本编辑器和作业流程编排画布，数据开发和运维人员在浏览器上通过可视化组件拖拽等方式即可完成相应数据处理流程的工作，极大地降低底层大数据平台技术门槛，提升作业开发效率。
应用东软SaCa DataDev数据开发平台之后，该市的数据开发作业时间由原来的一周缩减为一天，极大地降低了政务数据资源管理部门的管理成本。经过该平台的清洗、治理、编目后，该市的数据湖资源池不仅能够存储现有的50余个部门2000余类的政务数据资源，而且可以满足未来10年的数据存储量需求，极大地提升了该市的数据应用服务支撑能力，为提升全市的政务服务、行业监管、推进保障流程再造、优化营商环境等工作提供稳定、高效、安全的数据应用服务，成为中国“数字政府”建设的成功典范。
(来源：新视线)
