登录免费注册



Hadoop 家族技能图谱

首页  思维导图  详情



Hadoop 家族技能图谱

2020-11-04 15:30:56   14  举报





AI智能生成

Hadoop 家族技能图谱

Hadoop

Hive

Zookeeper

Mahout

Hue

模版推荐

作者其他创作

大纲/内容

Hadoop

Zookeeper

Avro

Chukwa

Ambari

Whirr

Bigtop

Hcatalog

Hue

HBase

Pig

Sqoop

Cassandra

Hama

Flume

Giraph

Oozie

Crunch

Mahout

推荐

协同过滤

基于用户协同过滤

基于物品协同过滤

相似度矩阵

欧氏距离

Pearson距离

余弦距离cosine

Spearman's rank correlation coefficient

Tanimoto coefficient

log-likelihood

近邻算法

按值取近邻

按比例取近邻

推荐算法

UserBaseRecommender

ItemBaseRecommender

SVDRecommender

SlopeOneRecommender

KnnItemBaseRecommender

TreeClusteringRecommender

算法检验

全查率Recall

准插率Precision

数据模型

UserID,ItemID,PerferenceValue

UserID,ItemID

数据模型

DenseVector

RandomAccessSparseVector

SequentialAccessSpareVector

距离算法

欧式距离

欧式平方距离

马氏距离

余弦距离

Tanimoto距离

带权重距离

标准化距离

聚类算法

k-means

Canopy

Fuzzy k-means

Dirichlet

Topic moseling on LDA

分类

系统模块

训练营

测试营

分类算法

训练过程

建立分类器

验证模块

真实数据

调整参数

执行分类过程

预测结果

检验结果

自动构建

工作流

训练模型

定义目标变量

历史数据

定义预测变量

分类算法

通过学习算法训练分类器

验证模型

运行测试集

参数调优

生产环境

启动模型对真实数据计算

分类模型

分类算法

Stochastic gradient descent(SGD)

Online_ogisticRession

CrossFoldLearner

Adaptivel_ogisticRegression

Support vector machine(SVM)

Naive Bayes

Complemetary naive Bayes

random forests

Hive

Hive系统架构

MetaStore

Derby

MySQL

HDFS

/user/hive/warehouse

MapReduce

Hive配置文件

hive-env.sh

hive-site.xml

hive-log4j.properties

Hive命令行

hive-config

hiveshell

quie,exit

reset

set

add,list,delete FILES

!<命令>

dfs<命令>

HQL

source FILES

hive service

hive-service cli

hive-service hiveserver

hive-server metastore

hive-service hwi

hive-service jar

HiveQL

语法管检测

show databases

show PARTITIONS

show tables

create table

load data(loacal) inpath

Select * from 

desc,alert,drop

limit,as,case,when then,union

like,group by,having

order by ,sort by

cluster by

数据类型

简单类型

tinyint,smallint,int,bigint

float,double

boolean

string

timestamp

binary

复杂类型

arry

map

strut

表

内部表

外部表

HDFS

HBase

Cassandra

DynamoDB

表查询

单表查询

Inner joins

Outer joins

Semi joins

Map joins

子查询

视图

数据库表设计

每日一表

每日一表分区

按桶分散数据

Hive优化

表分区Partitions

表存储桶buckets

表压缩

bitmap indexes索引

执行计划

控制Mapper,Reduce数量

访问方式

Hive Shell

Java JDBC API

Thrift Client

RHive

自定义函数

自定义函数UDF

自定义聚合函数UADF

Hive安全

认证

hive.files.umask.value

hive.metastore.authorization.storage.checks认证

hive.metastore.execute.setugi

hive.security.authorization.enabled

授权

hive.security.authorization.enabled

hive.security.authorization.creatable.owner.grants

hive.security.authorization.createtable.user.grants

权限模型

User

Group

Role

hwi:9999 Web控制台

软件集成

Zookeeper

Thrift

Ooize

HCatalog

AWS

Hive案例

 Collect

Get Started

soc_hadoop

 Collect

Get Started

Hadoop

 Collect

Get Started

家谱

 Collect

Get Started

技能打断













评论

0 条评论

下一页



图形选择

思维导图

主题

补充说明

AI生成





修改AI描述

去编辑

重新生成

提示 

关闭后当前内容将不会保存，是否继续？

取消

确定

Document