fsimage:保存的是一份最完整的元数据信息，一份比较完整的元数据信息，存放在两个地方，一个是磁盘，一个是内存
hdfs文件可以保存多少数据，取决于namenode的内存大小，hdfs推荐存储大量的大文件地方，不擅长存储小文件(因为namenode是单机的，无法像datanode一样横向扩展)
edits:保存的是最近一段时间操作的元数据信息
secondaryNamenode负责合并fsimage和edits
如何确定的edits与fsimage如何合并
文件大小和时间长短
- 首页
- 前沿技术
- 大数据
- Hadoop/Flume/Hive/Sqoop
- 大数据___Hadoop离线阶段
- 全部任务
- 1、课程介绍以及三台机器的联网....
- 2、linux基础增强.mp4
- 3、linux的基础增强以及用户...
- 4、linux当中的权限问题.m...
- 5、linux当中的系统服务以及...
- 7、linux当中的shell编...
- 8、linux的基础环境准备.m...
- 9、三台机器免密码登录，时钟同步...
- 10、zk的基本概述以及架构模型...
- 11、zk的基本特性概述.mp4
- 12、zk集群环境的安装.mp4
- 13、zk的shell操作.mp...
- 14、zk的节点的属性以及节点的...
- 15、zk的watch机制.mp...
- 16、zk的javaAPI操作....
- 17、zk的javaAPI的操作...
- 18、网络编程.mp4
- 19、课程内容总结回顾.mp4
- 6、linux当中的shell编...
- 1、第一天课程内容回顾.mp4
- 2、hadoop的发展历史介绍以...
- 3、hadoop的1.x与2.x...
- 4、hadoop的三种运行环境介...
- 5、hadoop的stanAlo...
- 6、伪分布模式环境搭建.mp4
- 7、完全分布式环境搭建.mp4
- 8、cdh版本的hadoop的源...
- 9、cdh版本的zk集群环境部署...
- 10、cdh版本的hadoop的...
- 11、cdh版本的hadoop的...
- 12、hadoop的集群的初体验...
- 13、hdfs的文件系统的基本特...
- 14、hdfs分布式文件系统的基...
- 15、hdfs分布式文件系统的基...
- 16、hdfs高级使用命令之文件...
- 17、hadoop集群的安全模式...
- 18、hadoop的基准测试之写...
- 19、hadoop的基准测试之测...
- 20、第二次课程总结.mp4
- 1、第二次课程内容回顾以及第三次...
- 2、分布式文件系统设计思路以及文...
- 3、hdfs文件系统的设计目标....
- 4、hdfs的来源以及hdfs的...
- 5、hdfs元数据信息详解以及f...
- 6、hdfs的edits元数据查...
- 7、文件的上传过程.mp4
- 8、hdfs的文件的读取过程.m...
- 9、通过javaAPI来操作分布...
- 10、hdfs的javaAPI操...
- 11、hdfs的javaAPI的...
- 12、hdfs的javaAPI操...
- 13、mapreduce的核心思...
- 14、mapreduce执行的流...
- 15、Mapreduce执行的流...
- 16、mapreduce的执行的...
- 17、mapreduce的本地模...
- 18、第三天课程总结.mp4
- 1、第三天课程内容回顾以及第四天...
- 2、MapReduce当中的分区...
- 3、mapreduce当中的分区...
- 4、mapreduce当中的二次...
- 5、mapreduce当中的二次...
- 6、mapreduce当中额计数...
- 7、mapreduce当中的规约...
- 8、手机上网流量求和汇总.mp4
- 9、按照上行流量进行排序.mp4
- 10、手机号的分区.mp4
- 11、maptask的运行机制....
- 12、reduceTask运行机...
- 13、mapreduce的执行流...
- 14、hadoop当中数据的压缩...
- 15、reduce端的join算...
- 16、reduce端的join算...
- 17、reduce端的join算...
- 18、第四天课程总结.mp4
- 1、第四天课程内容回顾以及第五天...
- 2、共同好友求取第一步.mp4
- 3、共同好友求取第二步.mp4
- 4、mapreduce实现倒排索...
- 5、自定义inputformat...
- 6、自定义inputformat...
- 8、自定义groupingCom...
- 7、自定义outputforma...
- 9、自定义groupingCom...
- 10、mapredue其他补充以...
- 11、mapreduce的其他参...
- 12、yarn当中的主要组件以及...
- 13、hadoop当中的三种调度...
- 14、yarn当中常用的参数设置...
- 15、第五天课程总结.mp4
- 1、第五天课程内容回顾以及第六天...
- 2、数据仓库的一些基本概念.mp...
- 3、数据仓库的一些基本概念2.m...
- 4、hive的基本概念.mp4
- 5、linux当中mysql数据...
- 6、hive使用msyql作为元...
- 7、hive的三种交互方式之前两...
- 8、hive的三种交互方式之第三...
- 9、hive的表模型之第一种内部...
- 10、hive当中的表创建只外部...
- 11、hive当中的分区以及分桶...
- 12、hive当中的数据加载.m...
- 13、hive的表数据加载以及导...
- 14、hive的查询基本语法.m...
- 15、hive当中的排序.mp4
- 16、hive的函数以及自定义函...
- 17、hive的自定义函数的开发...
- 18、hive的数据压缩方式sn...
- 19、hive当中的存储格式之行...
- 20、第六天课程总结.mp4
- 1、hive的存储格式与压缩方式...
- 2、hive的调优之fetch抓...
- 3、hive的调优2.mp4
- 4、hive的调优3.mp4
- 5、离线项目的执行流程分析.mp...
- 6、采集网络端口的数据到我们的控...
- 7、flume采集文件夹的数据到...
- 8、flume监控某个文件的变化...
- 9、flume的多个agent实...
- 10、flume的failove...
- 11、flume的load b...
- 12、flume的静态拦截器的使...
- 13、flume的自定义拦截器....
- 14、flume的自定义的拦截器...
- 15、azkaban的介绍以及a...
- 16、azkabn的solose...
- 17、azkaban多服务模式的...
- 18、第七天课程总结.mp4
- 1、azkaban调度工具的使用...
- 2、列举出win7上面所有的数据...
- 3、sqoop的数据导入导出.m...
- 4、sqoop的使用3.mp4
- 5、通过java代码执行linu...
- 6、离线项目的处理架构流程.mp...
- 7、网站日志分析过程.mp4
- 8、网站访问的一些分析.mp4
- 9、网站流量分析的常见指标.mp...
- 10、网站数据的处理架构已经数据...
- 11、网站访问的数据预处理过程....
- 12、pageView表模型的数...
- 13、visit表模型的数据的处...
- 14、第八天课程总结.mp4
- 1、第八天课程内容回顾以及第九天...
- 2、维度建模的基本概念以及原始数...
- 3、hive数据库建表以及加载数...
- 4、hive数据表的拆分.mp4
- 5.hive当中的流量统计分析以...
- 6、流量分析.mp4
- 7、受访分析以及访客分析.mp4
- 8、访客分析详情.mp4
- 9、hive的级联求和之每月小费...
- 10、hive的级联求和之关键路...
- 11、工作流调度任务打包上传.m...
- 12、echarts的入门介绍....
- 13、三大框架环境搭建.mp4
- 14、第一个图标的数据展示.mp...
- 15、第二个图标展示.mp4
- 16、第九天课程总结.mp4
- 1、第九天课程内容回顾以及第十天...
- 2、impala的基本介绍.mp...
- 3、linux磁盘的挂载.mp4
- 4、rpm仓库的下载和解压.mp...
- 5、impala软件的安装配置....
- 6、impala-shell交互...
- 7、impala当中的基本查询语...
- 8、使用java代码操作impa...
- 9、hue的基本介绍以及hue的...
- 10、hue的启动以及hue的主...
- 11、hue与我们的hadoop...
- 12、hue与我们的hadoop...
- 13、hue与hive的整合使用...
- 14、hue与impala以及m...
- 15、第十天课程总结.mp4
- 1、第十天课程内容回顾以及第十一...
- 2、oozie的基本介绍.mp4
- 3、oozie的安装1.mp4
- 5、oozie调度shell脚本...
- 6、oozie调度hive任务....
- 7、通过oozie调度MR的任务...
- 8、oozie执行我们的多个任务...
- 9、oozie的定时任务的执行....
- 10、oozie与hue的整合使...
- 12、hadoop的HA的基本介...
- 13、hadoop的高可用之完全...
- 14、hadoop的联邦架构了解...
- 15、CM的基本介绍以及安装前的...
- 16、cloudera-mana...
- 17、clouderaManag...
- 18、今日课程总结.mp4
- 4、oozie的安装2.mp4
- 上阶段考核通过卡点
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 每日作业
- 第六天教案.rar
- 上阶段考核通过卡点
- 1、课程介绍以及三台机器的联网....
- 2、linux基础增强.mp4
- 3、linux的基础增强以及用户...
- 4、linux当中的权限问题.m...
- 5、linux当中的系统服务以及...
- 每日作业
- 6、linux当中的shell编...
- 7、linux当中的shell编...
- 8、linux的基础环境准备.m...
- 9、三台机器免密码登录，时钟同步...
- 10、zk的基本概述以及架构模型...
- 11、zk的基本特性概述.mp4
- 每日作业
- 12、zk集群环境的安装.mp4
- 13、zk的shell操作.mp...
- 14、zk的节点的属性以及节点的...
- 15、zk的watch机制.mp...
- 16、zk的javaAPI操作....
- 17、zk的javaAPI的操作...
- 18、网络编程.mp4
- 19、课程内容总结回顾.mp4
- 每日作业
- 1、第一天课程内容回顾.mp4
- 2、hadoop的发展历史介绍以...
- 3、hadoop的1.x与2.x...
- 4、hadoop的三种运行环境介...
- 5、hadoop的stanAlo...
- 每日作业
- 6、伪分布模式环境搭建.mp4
- 7、完全分布式环境搭建.mp4
- 8、cdh版本的hadoop的源...
- 9、cdh版本的zk集群环境部署...
- 10、cdh版本的hadoop的...
- 11、cdh版本的hadoop的...
- 12、hadoop的集群的初体验...
- 每日作业
- 13、hdfs的文件系统的基本特...
- 14、hdfs分布式文件系统的基...
- 15、hdfs分布式文件系统的基...
- 16、hdfs高级使用命令之文件...
- 17、hadoop集群的安全模式...
- 18、hadoop的基准测试之写...
- 19、hadoop的基准测试之测...
- 20、第二次课程总结.mp4
- 每日作业
- 1、第二次课程内容回顾以及第三次...
- 2、分布式文件系统设计思路以及文...
- 3、hdfs文件系统的设计目标....
- 4、hdfs的来源以及hdfs的...
- 5、hdfs元数据信息详解以及f...
- 6、hdfs的edits元数据查...
- 7、文件的上传过程.mp4
- 8、hdfs的文件的读取过程.m...
- 9、通过javaAPI来操作分布...
- 每日作业
- 10、hdfs的javaAPI操...
- 11、hdfs的javaAPI的...
- 12、hdfs的javaAPI操...
- 13、mapreduce的核心思...
- 14、mapreduce执行的流...
- 15、Mapreduce执行的流...
- 16、mapreduce的执行的...
- 17、mapreduce的本地模...
- 18、第三天课程总结.mp4
- 每日作业
- 1、第三天课程内容回顾以及第四天...
- 2、MapReduce当中的分区...
- 3、mapreduce当中的分区...
- 4、mapreduce当中的二次...
- 5、mapreduce当中的二次...
- 6、mapreduce当中额计数...
- 7、mapreduce当中的规约...
- 8、手机上网流量求和汇总.mp4
- 每日作业
- 9、按照上行流量进行排序.mp4
- 10、手机号的分区.mp4
- 11、maptask的运行机制....
- 12、reduceTask运行机...
- 13、mapreduce的执行流...
- 14、hadoop当中数据的压缩...
- 15、reduce端的join算...
- 16、reduce端的join算...
- 17、reduce端的join算...
- 18、第四天课程总结.mp4
- 每日作业
- 1、第四天课程内容回顾以及第五天...
- 2、共同好友求取第一步.mp4
- 3、共同好友求取第二步.mp4
- 4、mapreduce实现倒排索...
- 5、自定义inputformat...
- 6、自定义inputformat...
- 7、自定义outputforma...
- 每日作业
- 8、自定义groupingCom...
- 9、自定义groupingCom...
- 10、mapredue其他补充以...
- 11、mapreduce的其他参...
- 12、yarn当中的主要组件以及...
- 13、hadoop当中的三种调度...
- 14、yarn当中常用的参数设置...
- 15、第五天课程总结.mp4
- 每日作业
- 1、第五天课程内容回顾以及第六天...
- 2、数据仓库的一些基本概念.mp...
- 3、数据仓库的一些基本概念2.m...
- 4、hive的基本概念.mp4
- 5、linux当中mysql数据...
- 6、hive使用msyql作为元...
- 7、hive的三种交互方式之前两...
- 8、hive的三种交互方式之第三...
- 每日作业
- 9、hive的表模型之第一种内部...
- 10、hive当中的表创建只外部...
- 11、hive当中的分区以及分桶...
- 12、hive当中的数据加载.m...
- 13、hive的表数据加载以及导...
- 14、hive的查询基本语法.m...
- 15、hive当中的排序.mp4
- 16、hive的函数以及自定义函...
- 17、hive的自定义函数的开发...
- 18、hive的数据压缩方式sn...
- 19、hive当中的存储格式之行...
- 20、第六天课程总结.mp4
- 每日作业
- 1、hive的存储格式与压缩方式...
- 2、hive的调优之fetch抓...
- 3、hive的调优2.mp4
- 4、hive的调优3.mp4
- 5、离线项目的执行流程分析.mp...
- 6、采集网络端口的数据到我们的控...
- 每日作业
- 7、flume采集文件夹的数据到...
- 8、flume监控某个文件的变化...
- 9、flume的多个agent实...
- 10、flume的failove...
- 11、flume的load b...
- 12、flume的静态拦截器的使...
- 13、flume的自定义拦截器....
- 14、flume的自定义的拦截器...
- 15、azkaban的介绍以及a...
- 16、azkabn的solose...
- 17、azkaban多服务模式的...
- 18、第七天课程总结.mp4
- 每日作业
- 1、azkaban调度工具的使用...
- 2、列举出win7上面所有的数据...
- 3、sqoop的数据导入导出.m...
- 4、sqoop的使用3.mp4
- 5、通过java代码执行linu...
- 6、离线项目的处理架构流程.mp...
- 每日作业
- 7、网站日志分析过程.mp4
- 8、网站访问的一些分析.mp4
- 9、网站流量分析的常见指标.mp...
- 10、网站数据的处理架构已经数据...
- 11、网站访问的数据预处理过程....
- 12、pageView表模型的数...
- 13、visit表模型的数据的处...
- 14、第八天课程总结.mp4
- 每日作业
- 1、第八天课程内容回顾以及第九天...
- 2、维度建模的基本概念以及原始数...
- 3、hive数据库建表以及加载数...
- 4、hive数据表的拆分.mp4
- 5.hive当中的流量统计分析以...
- 6、流量分析.mp4
- 7、受访分析以及访客分析.mp4
- 8、访客分析详情.mp4
- 每日作业
- 9、hive的级联求和之每月小费...
- 10、hive的级联求和之关键路...
- 11、工作流调度任务打包上传.m...
- 12、echarts的入门介绍....
- 13、三大框架环境搭建.mp4
- 14、第一个图标的数据展示.mp...
- 15、第二个图标展示.mp4
- 16、第九天课程总结.mp4
- 每日作业
- 1、第九天课程内容回顾以及第十天...
- 2、impala的基本介绍.mp...
- 3、linux磁盘的挂载.mp4
- 4、rpm仓库的下载和解压.mp...
- 5、impala软件的安装配置....
- 6、impala-shell交互...
- 每日作业
- 7、impala当中的基本查询语...
- 8、使用java代码操作impa...
- 9、hue的基本介绍以及hue的...
- 10、hue的启动以及hue的主...
- 11、hue与我们的hadoop...
- 12、hue与我们的hadoop...
- 13、hue与hive的整合使用...
- 14、hue与impala以及m...
- 15、第十天课程总结.mp4
- 每日作业
- 1、第十天课程内容回顾以及第十一...
- 2、oozie的基本介绍.mp4
- 3、oozie的安装1.mp4
- 4、oozie的安装2.mp4
- 5、oozie调度shell脚本...
- 6、oozie调度hive任务....
- 7、通过oozie调度MR的任务...
- 8、oozie执行我们的多个任务...
- 9、oozie的定时任务的执行....
- 10、oozie与hue的整合使...
- 每日作业
- 12、hadoop的HA的基本介...
- 13、hadoop的高可用之完全...
- 14、hadoop的联邦架构了解...
- 15、CM的基本介绍以及安装前的...
- 16、cloudera-mana...
- 17、clouderaManag...
- 18、今日课程总结.mp4
- 每日作业
- 资料下载
- 资料下载
22
0
83
0
