BIGDATA

Q4:如果客户端传输超大文件100G那么到时候读取数据的时候就会非常m慢

sr 分辨率

ip IP地址

                   

linux服务器

jd.com

/opt/hadoop/block

2.响应，可以传输

DN2

请求读取 blk_id2

客户端机器

NN

uid 用户id

dt   商品标题

web 页面

磁盘 1 T 把得到的数据都写到磁盘中

.........

海量文件系统

NameNode通知文件在blk 和blk2blk_id DN1 blk_id2 DN2

4.通知他可以传到DN1 并且分配给他一个全局唯一的blk_id

blk_id

/

DataNode

blk_id2

1.请求存入一个文件 请求路径为   movie/gfavdis.avi

D:

/data/

D：var/log/2019-5-3/xxx.log1 文本文件                   xxx.log2                   xxx.log3

XX.log2XX.log3

os 操作系统

客户端程序

3.请求传输文件的第一块

本地磁盘:/data/gfavdio.avi

D:data/log/log2

/moive/gfavidio    blk_id DN1 blk_id2 DN2

请求读取 blk_id

分布式文件系统

@Controller@RequestMapper(\"/\")public void writelog(Bean bena){}

out=new FileOutputStream(\"var/log...\");out.write(bean.toString.getBytes());

7.NameNode通知可以传到DN2 分配一个唯一blk_id2

Q4:如果多个客户端传输同一个文件名 可能造成数据覆盖？

/data

请求读取 /movie/gfavdio

DN1

DN4

Q2:是想以下像京东天猫每天同时浏览人数没有上亿也有好几千万的访问量 ，假如一个人访问数据量为1k 一天总共请求的数据也有百g了 如果一个月 一年 那么数据就会越来越大 肯定会到达T级别 

DN3

200M

Q5：传输数据的时候数据存储服务器挂掉(如果DN1，DN2 )了，那么就会造成数据丢失

8.传输文件到DN2 块id=blk_id2

/aaa

Server服务端

NameNode

5.传输文件到DN1 块id=blk_id

6.请求传输文件的第二块

虚拟目录树 ：元数据