1、linux系统安装
一般使用开源版的Redhat系统--CentOS作为底层平台。为了提供稳定的硬件基础，在给硬盘做RAID和挂载数据存储节点的时，需要按情况配置。<br>例如，可以选择给HDFS的namenode做RAID2以提高其稳定性，将数据存储与操作系统分别放置在不同硬盘上，以确保操作系统的正常运行。
2、分布式计算平台/组件安装
国内外的分布式系统的大多使用的是Hadoop系列开源系统。Hadoop的核心是HDFS，一个分布式的文件系统。<br>在其基础上常用的组件有Yarn、Zookeeper、Hive、Hbase、Sqoop、Impala、ElasticSearch、Spark等。
先说下使用开源组件的优点：
1）使用者众多，很多bug可以在网上找的答案（这往往是开发中最耗时的地方）。<br>
2）开源组件一般免费，学习和维护相对方便。<br>
3）开源组件一般会持续更新，提供必要的更新服务当然还需要手动做更新操作<br>
4）因为代码开源，若出bug可自由对源码作修改维护。<br>
分布式集群的资源管理器一般用Yarn，全名是Yet Another Resource Negotiator
常用的分布式数据数据仓库有Hive、Hbase。Hive可以用SQL查询但效率略低，Hbase可以快速『近实时』读取行。<br>
外部数据库导入导出需要用到Sqoop。Sqoop将数据从Oracle、MySQL等传统数据库导入Hive或Hbase。<br>
Zookeeper是提供数据同步服务，Yarn和Hbase需要它的支持。<br>
Impala是对hive的一个补充，可以实现高效的SQL查询。<br>
ElasticSearch是一个分布式的搜索引擎。<br>
针对分析，目前最火的是Spark，此处忽略其他，如基础的MapReduce 和 Flink。Spark在core上面有ML lib，Spark Streaming、Spark QL和GraphX等库，可以满足几乎所有常见数据分析需求。<br>
3、数据导入<br><br>
前面提到，数据导入的工具是Sqoop。用它可以将数据从文件或者传统数据库导入到分布式平台『一般主要导入到Hive，也可将数据导入到Hbase』。
4、数据分析
数据分析一般包括两个阶段：数据预处理和数据建模分析。<br><br>
数据预处理
数据预处理是为后面的建模分析做准备，主要工作时从海量数据中提取可用特征，建立大宽表。<br><br>这个过程可能会用到Hive SQL，Spark QL和Impala。
数据建模分析
数据建模分析是针对预处理提取的特征/数据建模，得到想要的结果。如前面所提到的，这一块最好用的是Spark。<br><br>常用的机器学习算法，如朴素贝叶斯、逻辑回归、决策树、神经网络、TFIDF、协同过滤等，都已经在ML lib里面，调用比较方便。
5、结果可视化及输出API<br>
可视化一般式对结果或部分原始数据做展示。一般有两种情况，行数据展示，和列查找展示。<br><br>在这里，要基于大数据平台做展示，会需要用到ElasticSearch和Hbase。<br><br>Hbase提供快速『ms级别』的行查找。ElasticSearch可以实现列索引，提供快速列查找。
