自由式学习
22人加入学习
(0人评价)
大数据___Hadoop离线阶段
价格 免费
承诺服务

hdfs分布式文件系统设计的目标:

1、硬件错误是常态,特别是硬盘的损坏是常态。解决方式:引入副本机制

2、数据流访问,所有的数据访问都是访问大量的数据,使用IO流一直操作,追求的是稳定,不是效率

3、大数据集 假设所有存储到hdfs的数据都是海量的数据,不擅长处理小文件,因为一个小文件占用一个元数据,元数据都存储爱内存当中,占用namenode大量内存

4、简单的相关模型 假设文件是一次写入,多次读取,不会有频繁的更新,比较擅长存储一些历史数据

5、移动计算比移动数据便宜

6、多种软硬件的可移植性

[展开全文]

授课教师

高级算法工程师
老师

课程特色

考试(25)
图文(1)
视频(190)

学员动态

lucyszzz 加入学习
3047徐剑 开始学习 资料下载
lucyszzz 加入学习