sparkmagic 数据鉴权架构

sparkmagic

注入加载器

SparkSession

+ sql(sql):DataFrame...

修改检测

代码植入

动态修改

Client

+ sql(sql): DataFrameProxy

构造

payload 脚本

DataFrame

+ show(num)+ take(num): list[Row]+ collect(): list[Row]+ toPandas(): pandas.DataFrame+ groupBy(col): GroupData...

sys

+ meta_path: tuple[Importer]

SparkMagicBase

- cell_keyword_checker(cell)+ execute_spark(cell)+ execute_sqlquery(cell)

check_meta_path_modified

DataFrameProxy

- proxy: DataFrame+ show(num)+ take(num)+ collect()+ toPandas()+ 自动代理其他函数: DataFrameProxy

LivySession

+ start()

黄色为自研模块

class_method_call_stack_check_decorator（对目标函数加调用者锁）

spark

SparkSessionProxy

- proxy: SparkSession- user_id: str+ sql(sql): DataFrameProxy- 鉴权(sql)- 上报(sql)

PostImportFinder

+ find_module(fullname)+ load_module(fullname)- _post_import_hooks: list[func]

sparkmagic 鉴权架构

执行

remote spark client