行业顶层规划和系统体系设计（课程目标、背景原因）
缺乏体系化的大数据设计防范
相关概念模糊，场景不清晰、步骤方法不规范
造成三个问题
1.体系规划，设计能力不足，遇到复杂大型项目，感到无从下手
2.产品、业务线条复杂，异构数据导致数据整合困难，各应用之间无法组合成生态体系
3.技术与应用脱节，出现了为技术而技术，技术与应用两张皮，缺乏关联和依赖
顶层架构设计的六要素
前瞻性预判
从后往前看
系统化思维
方法论支撑
数据化分析
科学化分解
顶层设计步骤方法
1.明确用途价值 <b>目标图像法</b>、与干系人核心需求、核心目标，最核心的意义<br>2.分析需求范围 <br>3.确定所需数据<br>4.处理数据资源<br>5.目标场景分析<br>6.展现系统成果
明确体系结构的用途与价值
干系人需求、目的、关键任务、目标任务、重要权衡、决策点、可能使用的分析工具
案例：最高法院十三五规划
26个系统50多个视角，26个产品描述整个架构，从需求到实现，保证架构描述和沟通的一致性<br>系统视角 技术视角 业务视角 用户视角 能力视角 不同视角使用不同的模型
方法论
业务视图
系统视图
技术视图
基于活动的分析与建模方法：业务节点-活动（信息）-任务-组织-系统-功能（数据）-系统节点<br>业务活动与系统功能做对比-一一对应关系 太重要了 要PPT！！！
落地实践能力
一、方法论实践依据 特征定义、价值探讨、体系架构（DODAF-以数据为核心、TOGAF-落地较难）<br>8个视角 52个模型
二、行业实践 行业标准、业务需求、知识模型、业务规则
三、支撑技术 云虚拟化技术、海量处理大数据、人工智能技术、可视化展现技术、系统集成技术
实践解析
前言概述
宏观角度：大数据行业发展态势>理念演进趋势>技术发展趋势>信息化发展趋势>业务发展趋势 整体闭环迭代，业务推动理念
理念演进（指导思路）
互联网思维：快迭代、免费、分享、新收费模式&增值服务（用户互联网思维）
国际化视野
大数据意识：过程落地到数据上
本地化特色：做好本地特色定制化，体现政绩
智能化管控：信息化管控、提升效率
技术发展趋势
批量分析（事后分析，离线分析）>进实时分析（亚秒级 2s内-25毫秒）>实时分析（25毫秒内）<br>传统数据处理>NOSQL处理>数据流处理<br>行式存储、信息汇总、因果分析|列式存储、历史数据挖掘、相关分析| 列式存储、实时数据挖掘、即时推送
考虑应用场景对应的技术体系
信息化发展趋势
单一模式 大规模复杂模式 系统工程方法论
功能型>知识型 数据化，数据为主线，数据转换为知识
数据驱动架构：架构的思考合格设计 元数据、云计算<br>基于云计算的IT架构 基于当前树形架构 虚拟化 docker 等
物理机部署、沙箱部署、虚拟机到docker,根据运行环境复杂程度决定，集群部署 云部署 一键部署<br>如何混合调用不同的架构体系？
顶层设计，体系化，系统化
数据库发展趋势
传统关系型数据库无法满足大数据的需求
无法满足海量数据的管理需求
无法满足数据高并发的需求
无法满足高可扩展性和高可用性的需求
NOSQL数据库特点
灵活的扩展性
灵活的数据模型
与云计算紧密融合
原来：oldsql支撑：事务、分析、互联网<br>一共架构支持多类应用>多架构支持多类应用<br>大数据时代：oldsql事务、newsql分析、nosql互联网
nosql:键值数据库、文档数据库、列式数据库、云数据库、图数据库<br>newsql:<br>oldsql：
hadoop体系 海量数据存储和处理 擅长离线数据处理
数据管理DM 管理数据资产，发挥价值<br>数据治理DG 政策、规范、流程管理
大数据与大规模数据、海量数据的差别
1.对象角度来看，是否有关联，有关联是大数据，数据集之间相互关联 才可以挖掘利用
2.技术角度看：活起来
3.应用角度看：紧密结合
从复杂的数据集发现新的关联规则，继而进行深度挖掘，得到有效用的新信息
大数据(存储、计算、管理)与云计算的关系（iaas基础设施服务、paas平台服务、saas软件服务）<br>云计算降低大数据的应用成本
1.概念的不同，大数据可依靠云作为基础架构<br>云计算改变了IT 大数据改变了业务
2.目标受众不同<br>云计算是CIO等关心的技术层，本质是IT解决方案<br>大数据是CEO关注的，是业务层的产品
大数据支撑技术
数据采集
数据存取
基础架构
数据处理
统计分析
数据挖掘
模型预测
结果呈现
数据的三种状态
静止数据
正在处理数据
动态数据
数据动 算法不动=批处理<br>算法动、数据动=流处理
大数据处理模式
批处理、流计算、图计算、查询分析计算
基础平台核心技术：分布式存储、分布式计算
核心技术：<br>自然语言处理技术（NLP 卷宗文书识别、人机交互问答处理、庭审音频转换处理体现价值）、<br>知识图谱技术（通过将法律人的经验固化成计算机识别的数据模型）根据关键字的权重（要素）进行量刑支撑<br>机器学习与数据分析技术（）<br>智能检索技术
方法步骤（无从下手），核心方法论
技术支撑，基础技术能力
行业实践，案例解析
