2023 年 4 月 11 日, 偶数发布了最新的实时湖仓数据平台 Skylab 5.0,平台各个组件进行了全面升级。新版 Skylab 的发布标志着偶数科技具有从数据存储、计算、管理到分析、应用和 AI 能力的完整的数据管理生态闭环,帮助用户实现批流一体、实时数据处理、自动化机器学习、自助可视化分析和数据资产管理。依托 Skylab,用户可以轻松实现智慧营销、智能风控、智慧审计、智慧监管等数据应用场景。
Skylab 核心组件包括云原生分布式数据库 OushuDB、自动化机器学习平台 LittleBoy、数据分析与应用平台 Kepler、数据资产管理平台 Orbit、数据开发与调度平台 Flow、数据工厂 Wasp 和系统管理软件 Lava。
OushuDB
OushuDB 是由偶数科技自主研发的云原生分布式数据库,具有高性能、高并发、高可用的技术优势。OushuDB 兼容国产软硬件平台,符合国家信创标准。新一代执行器显著提升批处理和按需即席查询效率,面向 PB 级大数据的复杂查询,OushuDB 相比传统 MPP 和 SQL-on-Hadoop 快一个数量级。采用计算存储分离架构深度优化数据库的扩展能力,支持腾讯云、阿里云、华为云、金山云、微软 Azure、AWS 等主流云平台,充分满足云端应用高度弹性、无限扩容的要求。OushuDB 的 5.1 版本通过对接 Hive 元数据,可以原生使用 Hive 存储在 HDFS 的数据。同时,偶数分布式表存储 Magma 的稳定性和性能也进一步增强。另外,新版本增加了对 Copy to/from HDFS 协议 URL 的完整支持,以及对 Text/Csv 格式、GZ 压缩类型的支持。
LittleBoy
LittleBoy 自动化机器学习平台提供完整的 MLOps 链路,集成数据清洗、特征工程、深度学习、AutoML、模型管理和 AI 服务。其可视化交互可通过拖拽、对话引导等方式帮助用户清晰直观建模。LittleBoy 同时支持有监督学习和无监督学习,近百种内置算法满足不同场景建模需求。结合 OushuDB 高性能读写速度,LittleBoy 相比同类产品大幅提升模型收敛效率,帮助分析师和数据科学家将机器学习快速转化为业务价值。
Kepler
Kepler 是一款功能强大且简单易用的数据分析与应用平台,满足不同行业的数据开发、分析、应用等复合需求。通过横向打通指标、标签、报表、模型四种数据资产,实现不同类型数据的资产共享。作为 Skylab 的数据访问和应用的通道,Kepler 将海量数据分析与应用的性能发挥到极致。
Orbit
Orbit 数据资产管理平台为用户提供可视化的数据资产图谱、自动化的数据资产分类、多维度的数据血缘分析,以及可持续的数据标准贯彻实施。通过对存量和新增的数据资产进行全方位的规划管理,为企业搭建领先的数据运营体系,减少数据污染和治理成本,提高数据可见性和使用效率,助力数字经济下的数据确权和定价,加快数据要素流通。
Flow
Flow 是一款拥有强大 Web 界面交互能力的数据开发与调度平台,为 Skylab 平台提供任务调度能力。Flow 不仅支持丰富的任务类型,还拥有百万级任务节点的前端交互能力,灵活实现大规模集群任务的调度服务。支持作业重跑、单点跑以及下游跑等多种运行模式,既可以查看实时运行日志也可以追溯历史任务。通过任务、任务组、作业、作业空间等资源组织,可实现多级别并发和优先级配置。
Wasp
Wasp 数据工厂可以轻松对接多种数据源,灵活可扩展。支持存量和增量同步、离线和实时持续同步、自动和定时同步、数据容错和断点续传。用户可以通过零代码可视化操作进行一套任务的批流数据加工,Wasp 在保证数据一致性的同时,为用户提供高性能、高吞吐的数据加工和同步。
Lava
Lava 负责 Skylab 平台集群管理、监控运维、用户管理、认证、审计、权限、消息等基础服务。通过灵活可扩展的技术架构、云中立的技术路线,为用户提供简单易用、安全可靠、性能稳定的系统管理服务。降低运维成本,提高管理效率。
除了完整的生态组件,偶数 Skylab 平台还率先实现了湖仓一体 ANCHOR 标准六大特性,通过虚拟计算集群技术,真正在数据和查询层面形成一体化架构。在超大规模集群上支持高并发,保障事务支持,提供实时能力,实现一个技术平台、一份业务数据、一份元数据。通过偶数首创的 Omega 架构保障了 ANCHOR 的实时优势特性,形成了具备全实时能力的实时湖仓数据平台。
● All Disparate Data 多源异构数据
● Native on Cloud 云原生
● Consistency 数据一致性
● High Concurrency 超高并发
● One Copy of Data 一份数据
● Real-time 实时 T+0
随着全行业数字化转型进入深水区,企业也必然要面临诸多技术挑战,针对企业 IT 系统尤其是数据平台技术栈越来越复杂,运维操作越来越繁琐,数据应用链路越来越冗长等问题,偶数通过 Skylab 一个平台将这些复杂、繁琐和冗长的 IT 难题化繁为简,通过实时湖仓一体架构实现完整的数据管理生态闭环。用更先进的技术和更少的成本,为企业带来全实时的洞察力、更智能的决策、更快的应用集成,助力企业数字化转型。
(来源:看头条网)