结构化的重复数据和非结构化的重复数据是一样的么？
数据库中的数据和探测器来的数据是一样的么？
都具有重复性
数据体量不一样
结构化数据数据一般被分解成单个记录，以块的形式存在，不同的数据在不同的块里
非结构化的重复数据，所有数据都在一个块里
需要解析器来处理
罗马人口普查方法
管理大量数据的能力
非结构化数据最重要的是从一大堆数据中解析数据，必须要进行大量的I/O操作
JJJJJJJJJJJJJJJJJJJJJJJJJJLLLLLLLLLLLLLLLLLLLJLJLJJLJLJLJLJLJLJLJJLJLJJLJLJLJLJLJLJLJLJLJLJLJLJLJLJLJLJLJJLJLJLJLJLJLJLJLJLJJLJLJLJLJLJLJLJLJLJLJLJLJLJLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJJLLLLLLLLLLLLLLLLLLLLLLLLLLLLLLJJJJJJJJJJJJJJJJJJJLJLJLJLJLJLJLJLJLJLJ
复习一下YARN的管理流程，hadoop的工作流程
企业数据管理
数据的最终目的是支持分析
第一步收集数据
是否是自动化收集
特定采集仪器----采集物理纸质数据---OCR光学软件
客服录音---语音识别---转录技术
第二步逻辑消解
消解键结构
消解定义
消解计算
消解数据结构
第三步规范化和数据分类
数据的生命周期
数据源本身----》数据采集------》组织数据------》数据存储----》数据集成----》有用性------》归档-----》丢弃-------》
正常来讲，数据的生命周期是随着时间的增长而递减的
例外：寿险行业，精算师-----查看100年以前的数据。---科学的历史
100年前10元钱就买寿险和现在五千
数据完整性
会随着时间的流式而退化
例子：股价，1950年的IBM每股35美元。2015年IBM的每股200美元。
随着时间的推移，数据完整性会发生根本变化，导致数据本身定义发生巨大改变，失去可比性
