自由式学习
22人加入学习
(0人评价)
大数据___Hadoop离线阶段
价格 免费
承诺服务

Hadoop的六个配置文件的作用:

core-site.xml:核心配置文件,主要是定义了集群是分布式还是本机运行

hdfs-site.xml:分布式文件系统的核心配置,决定了我们数据存放在哪个路径,数据的副本,数据的block块大小等等

Linux磁盘空间查看 df -lh

dfs.blocksize:文件block块的大小

 

hadoop-env.sh 配置了jdk的home路径

mapred-site.xml,定义了我们关于MapReduce

运行的一些参数

yarn-site.xml:定义我们的yarn集群

slaves定义了我们的从节点是哪些机器 datanode ,nodemanager运行在哪些机器上

Hadoop的格式化:只在初始化集群的时候执行一次 

 

http://192.168.211.102:50070/

50070:默认查看hdfs集群

http://192.168.211.102:8088/

8088:默认看yarn集群

http://192.168.211.102:19888/

19888默认查看历史

[展开全文]

授课教师

高级算法工程师
老师

课程特色

考试(25)
图文(1)
视频(190)

学员动态

lucyszzz 加入学习
3047徐剑 开始学习 资料下载
lucyszzz 加入学习