大数据顶层设计与落地方法

大数据顶层设计与落地方法（六六归一、大数据体系建设）

行业顶层规划和系统体系设计（课程目标、背景原因）

缺乏体系化的大数据设计防范

相关概念模糊，场景不清晰、步骤方法不规范

造成三个问题

1.体系规划，设计能力不足，遇到复杂大型项目，感到无从下手

2.产品、业务线条复杂，异构数据导致数据整合困难，各应用之间无法组合成生态体系

3.技术与应用脱节，出现了为技术而技术，技术与应用两张皮，缺乏关联和依赖

顶层架构设计的六要素

前瞻性预判

从后往前看

系统化思维

方法论支撑

数据化分析

科学化分解

顶层设计步骤方法

1.明确用途价值  目标图像法、与干系人核心需求、核心目标，最核心的意义2.分析需求范围  3.确定所需数据4.处理数据资源5.目标场景分析6.展现系统成果

明确体系结构的用途与价值

干系人需求、目的、关键任务、目标任务、重要权衡、决策点、可能使用的分析工具

案例：最高法院十三五规划

26个系统50多个视角，26个产品描述整个架构，从需求到实现，保证架构描述和沟通的一致性系统视角  技术视角  业务视角 用户视角 能力视角   不同视角使用不同的模型  

方法论

业务视图

系统视图

技术视图

基于活动的分析与建模方法：业务节点-活动（信息）-任务-组织-系统-功能（数据）-系统节点业务活动与系统功能做对比-一一对应关系    太重要了  要PPT！！！ 

落地实践能力

一、方法论实践依据  特征定义、价值探讨、体系架构（DODAF-以数据为核心、TOGAF-落地较难）8个视角  52个模型

二、行业实践  行业标准、业务需求、知识模型、业务规则

三、支撑技术  云虚拟化技术、海量处理大数据、人工智能技术、可视化展现技术、系统集成技术

实践解析

前言概述

宏观角度：大数据行业发展态势>理念演进趋势>技术发展趋势>信息化发展趋势>业务发展趋势  整体闭环迭代，业务推动理念

理念演进（指导思路）

互联网思维：快迭代、免费、分享、新收费模式&增值服务（用户互联网思维）

国际化视野

大数据意识：过程落地到数据上

本地化特色：做好本地特色定制化，体现政绩

智能化管控：信息化管控、提升效率

技术发展趋势

批量分析（事后分析，离线分析）>进实时分析（亚秒级 2s内-25毫秒）>实时分析（25毫秒内）传统数据处理>NOSQL处理>数据流处理行式存储、信息汇总、因果分析|列式存储、历史数据挖掘、相关分析| 列式存储、实时数据挖掘、即时推送

考虑应用场景对应的技术体系

信息化发展趋势

单一模式   大规模复杂模式  系统工程方法论

功能型>知识型   数据化，数据为主线，数据转换为知识

数据驱动架构：架构的思考合格设计  元数据、云计算基于云计算的IT架构  基于当前树形架构 虚拟化 docker 等

顶层设计，体系化，系统化

数据库发展趋势

传统关系型数据库无法满足大数据的需求

无法满足海量数据的管理需求

无法满足数据高并发的需求

无法满足高可扩展性和高可用性的需求

NOSQL数据库特点

灵活的扩展性

灵活的数据模型

与云计算紧密融合

原来：oldsql支撑：事务、分析、互联网一共架构支持多类应用>多架构支持多类应用大数据时代：oldsql事务、newsql分析、nosql互联网

nosql:键值数据库、文档数据库、列式数据库、云数据库、图数据库newsql:oldsql：

hadoop体系  海量数据存储和处理 擅长离线数据处理

数据管理DM 管理数据资产，发挥价值数据治理DG 政策、规范、流程管理

大数据与大规模数据、海量数据的差别

1.对象角度来看，是否有关联，有关联是大数据，数据集之间相互关联 才可以挖掘利用

2.技术角度看：活起来

3.应用角度看：紧密结合

从复杂的数据集发现新的关联规则，继而进行深度挖掘，得到有效用的新信息

大数据(存储、计算、管理)与云计算的关系（iaas基础设施服务、paas平台服务、saas软件服务）云计算降低大数据的应用成本

1.概念的不同，大数据可依靠云作为基础架构云计算改变了IT  大数据改变了业务

2.目标受众不同云计算是CIO等关心的技术层，本质是IT解决方案大数据是CEO关注的，是业务层的产品

大数据支撑技术

数据采集

数据存取

基础架构

数据处理

统计分析

数据挖掘

模型预测

结果呈现

数据的三种状态

静止数据

正在处理数据

动态数据

数据动  算法不动=批处理算法动、数据动=流处理

大数据处理模式

批处理、流计算、图计算、查询分析计算

基础平台核心技术：分布式存储、分布式计算

核心技术：自然语言处理技术（NLP 卷宗文书识别、人机交互问答处理、庭审音频转换处理体现价值）、知识图谱技术（通过将法律人的经验固化成计算机识别的数据模型）根据关键字的权重（要素）进行量刑支撑机器学习与数据分析技术（）智能检索技术

方法步骤（无从下手），核心方法论

技术支撑，基础技术能力

行业实践，案例解析

一横15纵

横向 

纵向 

一本书-体系架构设计