首页  思维导图  详情



 



平安城市大数据集群安装

2016-01-05 14:12:34   0  举报





仅支持查看

AI智能生成

安装平安城市大数据集群

大数据；框架

模板推荐

作者其他创作

大纲/内容

安装前准备

磁盘规划

根据集群配置规划磁盘分区

OS目录/var/lib,/var/log,/opt,/,LVM分区分别为:40%,20%,20%,20%(留30%左右以后备用);/boot 500MB单独分区

对其他整块硬盘/data/n/分区,以后挂载到HDFS上

U盘安装CentOS 6.X系统

系统安装之后对硬件(网卡),网络情况,SSH,NTP等配置,重启几遍确保没有问题

配置ssh免密码登录

配置防火墙关闭

配置网卡自动启动

配置NTP时间同步服务

配置自动挂载到目录

配置集群/etc/hosts

针对业务场景对系统进行文件系统等方面的性能配置

尽量减少使用swap分区 echo 'vm.swappiness=0' >> /etc/sysctl.conf

配置磁盘的 noatime /etc/fstab UUID=c6753960-8f47-4ce1-b89a-813ffcf105bc /var ext4 defaults,noatime 0 2

安装大数据管理平台(CM)

下载CM相关文件

CM相关安装文件放入Web容器

ngnix:/usr/share/nginx/html/

httpd:/var/www/html

CentOS6.5记得开启Web容器服务

制作私有Yum库repo文件

放入:/etc/yum.repos.d,把该目录下其他repo文件重命名

注意不要有Yum代理

Yum清除缓存,yum repolist

关闭SELinux,防火墙,安装PostgreSQL数据库等

vi /etc/selinux/config

安装 postgresql84-8.4.22-1PGDG.rhel6.x86_64.rpm postgresql84-libs-8.4.22-1PGDG.rhel6.x86_64.rpm postgresql84-server-8.4.22-1PGDG.rhel6.x86_64.rpm

运行CM的安装bin文件

运行过程产生的日志:/var/log/cloudera-manager-installer

浏览器打开URL确认CM安装完成

http://wxcm:7180/cmf/home 账号:admin/admin

安装大数据组件集成包Parcel(CDH)

下载相应版本的CDHParcel包

注意:需要manifest.json

放入Web容器对应目录,确认可以访问

刷新几次CM自动发现刚才放入容器的Parcel包

CM里发现Parcel文件的路径默认

CM会下载->分配->应用Parcel包

耗时

启动需要的服务

Hbase,MR,ZK,HDFS,YARN

注意各个服务的角色分配,服务角色不要分配到CM那台机器

配置HDFS的HA和HBase TimeOut等参数

安装SQL中间件(apache Phoenix)

将Phoenix的jar复制到HBase的lib下

/opt/cloudera/parcels/CDH/lib/hbase/lib/

根据业务建立表结构

create table ...

建立索引

create index

测试保证数据可以新增,查询,使用索引

命令行进入测试select语句和index(explain)是否可用

安装后配置性能调优

对 HBase 表进行压缩等

 Collect

Get Started

大数据分层架构图

 Collect

Get Started

大数据赋能智慧城市

 Collect

Get Started

大数据技术架构图

 Collect

Get Started

大数据平台_数据治理平台_大数据





0 条评论

下一页