任职2019--v2--etl诞生
2016-11-01 16:45:48 0 举报在2019年，一位名叫ETL的新人踏入了职场。他以其独特的技能和无尽的热情，迅速在公司中崭露头角。他的全名是Extract, Transform, Load，这三个字母代表了他在数据处理领域的核心职责：提取、转换和加载数据。他的工作不仅需要精确无误，而且需要在严格的时间框架内完成。尽管压力巨大，但ETL始终保持着乐观的态度，他的专业技能和敬业精神使他成为了团队中的一颗璀璨明星。他的出现，为公司的数据处理工作带来了革新，也为同事们树立了榜样。
作者其他创作
大纲/内容
冲突
-->
慢变化
y=DL(x)
问题(x)-策略(f)-结果(y)，抽象为 y=f(x)
策略可具体归属，即可判断属于哪一类问题，如：回归预测
背景
当前，使用场景占比更大的定量计算，ETL效果：有效的较低成本(时间，人力投入，业务变更成本)，从特定种类技术做特定的事情，泛化为业务线技术可参与服务于：经营数据，风控模型代理费，通道监控销售提成，反洗钱经营成本，业务线运营等等（对外财务审计10个系统之一）每天2000左右任务运行做数据计算18年后1000万条提升到 1T 数据计算能力；300任务数->2000任务；
业务需求
服务于：易宝支付各部门
资源占用1/3
建模类场景用于：风控天创预计：航旅和金融合作
数据记录
策略完全已知，即可定性定量说明需求是什么，如：收入同比计算
案例：比如销售提成、代理费计算，成本内报计算等场景：接到业务需求，关于数值计算方式：硬编码编程，或者，写MapReduce/Spark程序问题：耗时很长，流程长，沟通成本高，有一定专业性，排期上线时间以周为单位排期，人依据需求呈线性排期；没有技术沉淀
VS
承上启下解决：由于速度不匹配，对业务响应力跟不上问题设计逻辑：依据事物的变化速度分层，再逐层分析，并设计解决方案即合理的边界和服务；发现和分析问题，找到问题的本质，抽象并简化
离线计算平台ETL
逻辑层面
计算策略y=f(x)
快变化
方案
业务场景
计算逻辑的抽象平台化ETL
效果
响应慢，工期耗时长无沉淀，溢出效应低，需求垂直专业能力，存储计算框架有学习成本
y=ML(x)
场景：交易记录特点：固定且缺少“灵”性
策略未知，即对策略比较模糊如：神经网络类
服务于：天创产品，风控建模分析
y=SQL(x)
离线分析环境
场景：产品，运营，分析特点：需快速响应
工程产品
资源占用2/3
职业：暂无
0 条评论
下一页
