2020年技术规划拆解
2015-06-18 11:36:19 13 举报
2020年技术规划拆解是对当年科技发展目标和战略的详细解析，涵盖了各个领域的创新和突破。这一规划旨在推动数字化转型，加强人工智能、大数据、云计算等前沿技术的研究与应用，提升国家竞争力。同时，关注绿色可持续发展，推动清洁能源、节能减排等环保技术的创新与普及。此外，2020年技术规划还强调了网络安全、信息安全等方面的重要性，提出了一系列应对措施。通过这一拆解，可以看出2020年技术规划是一个全面、系统的战略布局，为未来科技创新和发展提供了明确的方向。
作者其他创作
大纲/内容
原则：面向数据资产做架构规划和实现有显性过程性设计，有显性层次性设计数据准确性优先，系统稳定性优先创新精神，敢于打破已有范式解决问题业务和技术一体两面，业务功能和技术目标必须紧密结合
除原则外，在项目中研发判断标准：1. 以上目标是基于效率指定的2. 以项目为牵引，做决策设计的时候，是否符合目标方向，不符合是有问题的和负责人强调一点1 为需求做设计，必须同时考虑，产品功能，技术设计，如何运营，否则会出现问题不断的情况2 视角一定要跳出来看，符合部门or组内既定目标？
Q3，1 重构计算调度代码2 支持pyspark脚本模式3 迁移原有对外依赖至hudi/hive4 基于业务写逻辑代码，深入业务抽象新的计算模型
计算多样性
Q3，1 基于计算任务配置，基于资产需求，基于飞鸽和newreport，及时雨等产品设计，打通一层数据关系（资产应对其负责，其他3组辅助落地）（层内，从N到1简化）优先打通顶层即可2 数据血缘关系天然成为架构一部分v1.0，初具规模（此架构不分产品技术）3 资产关系以资产为主
实时性（闭环数据处理）
Q4 1. 实现计算闭环，解除90%外部依赖2. Faas，是否可以实现Faas模式
资产协作
目标：找数据用数据的效率第一优先，简洁直观，无须解释1 按层次结构，打通一层数据，从N维降低到1维2 数据血缘关系3 数据资产关系等
Q4，1. ogg全同步2. 原计算任务迁移实时替换，（按需而发）3. 应用层考虑（实时指标）
2020年下半年目标：效率
Q4，1 实现2层降维2 数据血缘关系实时关联查询
Q3，实时采集，同步，监控1. 采集梳理：梳理全部资产需要的dwd层同步2. 配置30%同步3. 梳理应用层，原任务可用实时代替的，执行替换
目标：全链路数据采集，同步，计算，展示，提升至分钟级1. 新业务场景，实时第一优先2. 旧业务场景，逐渐迁移至新场景3. 全链路监控，应急方案，数据准确性保证
目标：紧密结合业务，符合业务场景的计算模型1 原etl逻辑部分（非调度），逐渐封闭2 基于业务抽象pyspark，抽象pipeline3 计算存储的自我闭环（即减少外部依赖，降低外部不确定性）
架构共识技术优化
职业：暂无
0 条评论
回复 删除
下一页
