湖仓一体调研

k8s

一、核心功能：1、数据接入2、支持批流计算（实时主推flink，批主推spark）（1）实时，flink支持flink sql、flink jar、flink edge sql类型，提供可视化拖拉拽（2）批，支持presto、spark-sql3、提供数据展示层产品（同时兼容：DLV、Tableau、Superset、永洪BI、帆软等）4、提供元数据管理功能（官网资料说有，但是产品上没有找到！）5、支持多租户（基本的库表权限、资源队列、存储配额、角色管理等功能）二、优势：1、支持跨数据源、跨云、跨DC的sql分析（基于presto开发的交互式查询引擎）2、具备统一资源管理能力，包括弹性计算能力与存储计算分离特性（主推底层对象存储，同时支持hdfs、本地存储）（1）交互查询引擎OpenLooKeng（基于k8s的presto），主要特点是cache加速、异构数据源联邦分析并且可以做到算子下推（算子下推的意思就是比如用hive和mysql表进行关联查询，可以将mysql涉及到的相关计算下推给mysql引擎算，hive的的下推给mr算，最终将2者计算的结果交叉合并）（2）计算框架给予k8s之上（3）计算存储分离，计算主推OpenLooKeng、spark、flink托管在k8s，存储主推对象存储，但是同时也支持hdfs和其他的本地存储。可以做到计算、存储资源单独动态扩缩容3、提供统一的标准sql，将presto和spark sql统一了（但是没有统一flink sql）三、劣势1、产品上未做到了批流统一的体验2、一站式开发产品交互体验差3、没有湖仓一体的概念，是单纯的数据湖产品4、不支持半结构化和非结构化的元数据管理，只支持结构化数据的管理！！

DLV、Tableau、Superset、永洪BI、帆软等

存储层

跨源读写

Serverless DLI架构

数据展示层

OpenLookeng(基于presto研发的交互式查询引擎)

对象存储（OBS）

统一资源管理（基于k8s上）

数据访问（JDBC/ODBC/SDK/RESTFUL/Beeline/S3协议接口）

flink（实时）

统一元数据管理

存算分离

NoSQL（Hbase/Mongo/Redis）

资源管理层

yarn

计算框架

Spark离线分析（离线分析）

OLTP（mysql/postgeSQL）