湖仓一体调研
2020-11-16 16:08:59 0 举报
华为数据湖产品DLI调研
作者其他创作
大纲/内容
k8s
一、核心功能:1、数据接入2、支持批流计算(实时主推flink,批主推spark)(1)实时,flink支持flink sql、flink jar、flink edge sql类型,提供可视化拖拉拽(2)批,支持presto、spark-sql3、提供数据展示层产品(同时兼容:DLV、Tableau、Superset、永洪BI、帆软等)4、提供元数据管理功能(官网资料说有,但是产品上没有找到!)5、支持多租户(基本的库表权限、资源队列、存储配额、角色管理等功能)二、优势:1、支持跨数据源、跨云、跨DC的sql分析(基于presto开发的交互式查询引擎)2、具备统一资源管理能力,包括弹性计算能力与存储计算分离特性(主推底层对象存储,同时支持hdfs、本地存储)(1)交互查询引擎OpenLooKeng(基于k8s的presto),主要特点是cache加速、异构数据源联邦分析并且可以做到算子下推(算子下推的意思就是比如用hive和mysql表进行关联查询,可以将mysql涉及到的相关计算下推给mysql引擎算,hive的的下推给mr算,最终将2者计算的结果交叉合并)(2)计算框架给予k8s之上(3)计算存储分离,计算主推OpenLooKeng、spark、flink托管在k8s,存储主推对象存储,但是同时也支持hdfs和其他的本地存储。可以做到计算、存储资源单独动态扩缩容3、提供统一的标准sql,将presto和spark sql统一了(但是没有统一flink sql)三、劣势1、产品上未做到了批流统一的体验2、一站式开发产品交互体验差3、没有湖仓一体的概念,是单纯的数据湖产品4、不支持半结构化和非结构化的元数据管理,只支持结构化数据的管理!!
DLV、Tableau、Superset、永洪BI、帆软等
存储层
跨源读写
Serverless DLI架构
数据展示层
OpenLookeng(基于presto研发的交互式查询引擎)
对象存储(OBS)
统一资源管理(基于k8s上)
数据访问(JDBC/ODBC/SDK/RESTFUL/Beeline/S3协议接口)
flink(实时)
统一元数据管理
存算分离
NoSQL(Hbase/Mongo/Redis)
资源管理层
yarn
计算框架
Spark离线分析(离线分析)
OLTP(mysql/postgeSQL)
0 条评论
下一页