【3509】

【学习目标】：本人为了工作就业学习，然后了解一些java，需要转行做大数据开发工程师。

【备注】：

【学习方向】：大数据开发

【是否需要就业】：需要就业

【目标就业地点】：一线城市

【课程学习顺序】：如学生有特殊要求，比如需要紧急完成论文，学习哪个阶段的内容。可以在该阶段下写上需要先学习的内容（可以按照阶段前面的数字进行标号）。方便学生和复审老师明确学习顺序。

（按照顺序学习即可，有问题随时跟老师联系调整）

【学员课程安排】：有任何疑问，在群里随时艾特或者ding教务老师和电话测评的老师！尽快解决，达到当前阶段没有疑问为止。

 

【第1阶段】：基础阶段

【监督方式】：强监督

「第1章」：编程语言篇

课程名称：【33014】【Java_Java基础和高级语法（第一篇）（2022）「自由式学习」】

课程内容：该课程主要讲解了Java基本概念、基本的环境安装、Java的变量、标志符、数据类型、常用的进制、强制类型转换、算术运算符、位运算、循环结构体、判断结构体、双重for循环、一维数组、二维数组、以及一些小例子和面向对象的基本介绍等等知识点

---考核---（可调整，联系教务老师）

「第2章」：编程语言篇

课程名称：【33015】【Java_Java基础和高级语法（第二篇）（2022）「自由式学习」】

课程内容：该课程主要讲解了Java的类定义以及参数，构造方法中重写重载和关键字，单例模式的使用场景，继承、代码块、多态和抽象类的使用介绍，并对接口的定义介绍和内部类的定义，枚举及注释的使用等。

---考核---（可调整，联系教务老师）

「第3章」：编程语言篇

课程名称：【33016】【Java_Java基础和高级语法（第三篇）（2022）「自由式学习」】

课程内容：该课程主要讲解了Java的包装类以及细化包装类的使用、正则表达式、StringBuilder、Data类、日历、日期格式化的处理、Collection、ArrayList、LinkedList、Queue、泛型、Set、HashSet、TreeSet、Map的使用和总结。

---考核---（可调整，联系教务老师）

「第4章」：编程语言篇

课程名称：【33017】【Java_Java基础和高级语法（第四篇）（2022）「自由式学习」】

课程内容：该课程主要介绍了Java的异常、自定义异常、File文件处理、IO流、拷贝文件操作的三种方式、字符编码和数据流、程序和进程、线程的创建和启动、匿名内部类、线程的优先级、线程的等待、守护线程、线程同步以及多个线程、线程死锁等介绍、网络协议、反射机制。

---考核---（可调整，联系教务老师）

「第5章」：数据库基础篇

课程名称：【33098】【1、Mysql基础教程-基础语法（2022）「自由式学习」】

课程内容：该课程主要讲解了MySQL的基本概念、MySQL安装和使用、SQLYog安装和使用、库和表的概念、SQL概念和分类、增删改查数据、常用函数和关键字、约束、主键、事务、多表关联、数据库设计三范式、索引、视图、存储过程、触发器、创建用户以及数据库的备份等。

---考核---（可调整，联系教务老师）

「第6章」：操作系统篇

课程名称：【33488】【BigData_Linux和Shell的学习「自由式学习」】

课程内容：该课程针对大数据学习的前置知识linux的详细的讲解，其中主要讲解了计算机的一些基本组成、网络模式的讲解、VMware和系统的安装、特殊符号、基本命令、linux的目录、文件压缩、高级命令、用户组权限、文本处理三剑客等全面的命令的讲解、该课程练习为主，没有太多深入的知识，做好笔记刚开始不熟练的时候可以查为主。接下来讲解了linux中的shell编程，讲解了如何启动脚本等等，后期的大数据组件中的很多脚本都是shell编写的，学习之后可以帮组自己操作服务器

---考核---（可调整，联系教务老师）

 

「备注」：

【第2阶段】：大数据框架阶段

【监督方式】：强监督

「第1章」：大数据组件篇

课程名称：【33483】【BigData_Zookeeper的学习「自由式学习」】

课程内容：该课程主要讲解了单节点面临的问题、以及分布式的技术难题、讲解了zk在分布式集群中的作用，如何保障数据的一致性、ZK集群的搭建、ZK的角色分配等知识点，对于初学者zk只需要了解作用什么即可，暂不需要对zk的算法深入了解

---考核---（可调整，联系教务老师）

「第2章」：离线框架篇

课程名称：【33484】【BigData_Hadoop之HDFS的学习「自由式学习」】

课程内容：该课程主要讲解了时间复杂度、十大排序算法中的时间复杂度和空间复杂度、十大算法的讲解（冒泡选择插入、希尔排序、快速排序、归并排序、计数排序、桶排序、基数排序）、大数据之1T数据的查重、排序的解决方案、大数据生态圈的介绍、分布式文件系统的数组、偏移量、等分、安全、副本机制介绍、分布式文件系统的管理方式、分布式文件系统架构的优缺点、搭建hadoop的完全分布式环境、Namenode节点的功能的讲解、SecondaryNameNode组件的介绍、HDFS集群的安全模式、读写数据流程的宏观微观介绍、Hadoop2.x集群的优缺点以及Hadoop3.x的新特性、以及java链接Hadoop集群等知识点。

---考核---（可调整，联系教务老师）

「第3章」：离线框架篇

课程名称：【33481】【BigData_Hadoop之MapReduce的学习「自由式学习」】

课程内容：该课程主要讲解了MR知识由来、创建思想等前置铺垫、对比了MR1.x和MR的2.x的计算架构、MR的HA集群的搭建、MR的WordCount案例、MR的数据切片和数据读取、缓冲区的溢写、合并等步骤的讲解、MR的城市温度案例和好友推荐案例以及mr的TFIDF算法流程和步骤

---考核---（可调整，联系教务老师）

「第4章」：离线框架篇

课程名称：【33482】【BigData_Hive的学习「自由式学习」】

课程内容：该课程主要讲解了对于HIve的概述、工作原理、系统架构、环境的搭建、三种链接方式、元数据表结构介绍、DDL的创建普通表、创建内部表和外部表、分别读取HDFS数据、linux本地数据、追加加载数据、静态单分区、静态多分区、动态多分区、分区表、分桶表、DQL中的聚合开窗函数、UDF、UDAF、UDTF函数、Hive可视化工具DBeaver的安装（选择安装）、Hive参数的配置、Hive的行存储模式、列存储模式、ORC模式。已经TEZ引擎的安装和简介

---考核---（可调整，联系教务老师）

「第5章」：大数据组件篇

课程名称：【33474】【BigData_Sqoop工具的使用「自由式学习」】

课程内容：该课程主要讲解了Sqoop工具的原理以及概述、Sqoop的应用案例之导入全部数据、导入过程中的where条件的使用、多Mapper的导入和Hive表的导入、导入到Mysql、CDC案例、增量导入等案例的讲解，帮助我们对sqoop的了解和熟练

---考核---（可调整，联系教务老师）

「第6章」：大数据组件篇

课程名称：【33475】【BigData_Flume的学习「自由式学习」】

课程内容：该课程主要讲解了Flume的三大组成部分、三大组件的详解、多路复用、如何保障数据安全、软件的安装、环境配置等

---考核---（可调整，联系教务老师）

「第7章」：大数据组件篇

课程名称：【33473】【BigData_Kafka的学习「自由式学习」】

课程内容：该课程主要讲解了观察者模式、生产者和消费者模式、消息的传递方式已经和MQ组件的对比、分布式软件的安装、数据检索机制、ISR机制、数据确认机制、FLume和Kafka的集成的知识点

---考核---（可调整，联系教务老师）

「第8章」：大数据组件篇

课程名称：【33491】【BigData_Hbase和Phoenix的学习「自由式学习」】

课程内容：该课程主要讲解了Hbase的应用场景、技术介绍、数据模型的纬度介绍、集群的搭建、集群中的HMaster、HRegionServer、HRegion、Store、Hlog等组件的介绍、数据读写流程的三级索引、宏观的讲解写入和读取的流程、讲解了Hbase的shell、以及JavaAPi操作HBase、接下来讲解了HBase的读写流程的详细介绍、以及RowKey的设计、以及Hbase的表优化和写入、读取数据的优化、和HBase和HDFS相互读取和写入、以及HBase的分区和数据的压缩格式。接下来讲解了Phoneix的安装和使用。后者了解使用即可

---考核---（可调整，联系教务老师）

「第9章」：离线框架篇

课程名称：【33498】【BigData_DataWareHouse的概念「自由式学习」】

课程内容：理论课程，该课程主要讲解了数据的处理方式OLAP和OLTP的区别、OLAP中常见的五种数据处理模式、数据建模的工具PowerDeginer的安装、数据建模的关系建模和纬度建模和建模总结以及建模中的纬度表、事实表、数据组织类型雪花-星型-星系类型、接下来讲解了数据仓库的概念、特征、分层的好处、基本的分层层级、命名规范等、以及大数据中数据仓库、数据集市、数据孤岛、数据湖、数据中台、宽窄表、元数据数据治理、ETL、数据仓库的意义等概念

---考核---（可调整，联系教务老师）

「第10章」：离线框架篇

课程名称：【33503】【BigData_数仓电商日志分析项目「自由式学习」】

课程内容：该课程主要讲解了数据仓库的整个流程，讲解了的处理流程、项目的搭建和埋点数据的介绍、Nginx的数据搭建（此时你已经搭建了Nginx）、数据通过Flume采集Nginx的日志数据到HDFS、梳理业务、数据清洗后导入HBase、通过Phoenix查看数据、SKU和SPU、纬度表和事实表、MR的多纬度组合分析、整合Hive和Hbase、Hive和Tez的组合、使用Hive查询Hbase分析活跃用户、用户浏览深度等知识点。该课程主要去理解数据仓库的概念和整个流程

---考核---（可调整，联系教务老师）

「第11章」：离线框架篇

课程名称：【33600】【BigData_数据中台的概念「自由式学习」】

课程内容：给课程主要讲解了数据中台的由来、数据中台适合的企业、数据中台的概念、数据中台的建设和管理的理论知识、数据中台的元数据、模型设计、数据质量、成本控制等知识点

---考核---（可调整，联系教务老师）

 

「备注」：

【第3阶段】：基础阶段

【监督方式】：强监督

「第1章」：编程语言篇

课程名称：【33566】【BigData_Scala语法的学习「自由式学习」】

课程内容：该课程主要讲解了Scala的基本介绍、Scala的面向对象的编程思想、Scala的函数和方法、Scala的基本数据结构List、Set、Map、模式匹配等、样例类、以及Spark的预热等知识点

---考核---（可调整，联系教务老师）

 

「备注」：

【第4阶段】：大数据框架阶段

【监督方式】：强监督

「第1章」：实时框架篇

课程名称：【33568】【BigData_Spark-Core的学习「自由式学习」】

课程内容：该课程主要讲解了Spark的基本介绍、Spark和MR的对比、RDD、转化算子、持久化算子、checkpoint算子、Java版本的算子的编写、Spark集群的安装和启动、Standalone模式、Yarn-client模式、Yarn-cluster模式的区别的架构的不同之处、各种算子的演示、宽窄依赖的讲解、资源调度和任务调度和推测执行的原理、Spark的提交流程、广播变量、不同的shuffer之间的讲解和对比、以及DAG的讲解等等知识点，从各个方面全面的分析了一下Spark的组件和各种的运行机制

---考核---（可调整，联系教务老师）

「第2章」：实时框架篇

课程名称：【33570】【BigData_Spark-SQL的学习「自由式学习」】

课程内容：该课程依托于SparkCore课程，主要讲解了sparksql的创建、语法、原声API的操作、以及sparkcore 的整体的复习、以及集成hive、开窗函数等知识点的讲解

---考核---（可调整，联系教务老师）

「第3章」：实时框架篇

课程名称：【33573】【BigData_Spark-Streaming的学习「自由式学习」】

课程内容：该课程主要讲解了SparkStreaming的基本介绍、SparkStreaming的案例、窗口函数的讲解、receiver模式、direct模式的讲解、两种模式的总结、以及集成了Kafka的实现

---考核---（可调整，联系教务老师）

 

「备注」：

【第5阶段】：大数据实操阶段

【监督方式】：强监督

「第1章」：大数据项目实战篇

课程名称：【4787】【大数据_Spark智慧交通项目「自由式学习」】

课程内容：该阶段通过对交通业务进行数据平台的搭建，然后进行整体的数据的导入然后进行数据的整体分析。

---考核---（可调整，联系教务老师）

「第2章」：大数据项目实战篇

课程名称：【3608】【GH大数据项目-MT日志分析「自由式学习」】

课程内容：该课程针对MT离线日志分析平台之间的架构做了讲解，然后针对于整体的数据进行了导入，然后进行处理分析，采用了HBase数据库，对系统的session模块、广告模块、进行了大量的数据分析和统计。

---考核---（可调整，联系教务老师）

 

「备注」：

【第6阶段】：大数据框架阶段

【监督方式】：强监督

「第1章」：大数据组件篇

课程名称：【33581】【BigData_Impala组件的使用「自由式学习」】

课程内容：该课程主要讲解了Impala的优势和应用场景、以及Impala的安装和入门案例、Impala架构原理、Impala的查询流程分析、以及Impala的优化手段等知识点

---考核---（可调整，联系教务老师）

「第2章」：大数据组件篇

课程名称：【33589】【BigData_ClickHouse的学习「自由式学习」】

课程内容：该课程主要讲解了ClickHouse的产生背景、以及OLAP的概念、列示存储的详解、Clickhouse集群的安装和使用、Clickhouse的数据类型、库和表基本操作、临时表和分区表、导入导出、函数、表引擎、的整体的讲解，从各个方面讲解了Clickhourse的架构

---考核---（可调整，联系教务老师）

「第3章」：大数据组件篇

课程名称：【33590】【BigData_KuDu的介绍「自由式学习」】

课程内容：该课程主要讲解了KuDu的产生背景、和使用场景分析、KuDu的架构设计和核心概念、以及编译安装

---考核---（可调整，联系教务老师）

「第4章」：大数据组件篇

课程名称：【33591】【BigData_Kylin的使用「自由式学习」】

课程内容：该课程主要讲解了数仓的概念复习、Kylin的工作原理、Kylin的使用和安装、Kylin的API操作和数据持续更新等等操作

---考核---（可调整，联系教务老师）

「第5章」：大数据组件篇

课程名称：【33597】【BigData_数据中台中Atlas和Ranger组件「自由式学习」】

课程内容：该课程主要讲解了Atlas的介绍以及编译还有安装、以及部署，并且也讲了Ranger产生的背景和概述、安装部署和使用

---考核---（可调整，联系教务老师）

「第6章」：大数据组件篇

课程名称：【33594】【BigData_DolphinScheduler介绍「自由式学习」】

课程内容：该课程主要讲解了DolphimScheduler的编译、安装和部署、以及架构和使用

---考核---（可调整，联系教务老师）

「第7章」：大数据组件篇

课程名称：【33596】【BigData_Davinci介绍「自由式学习」】

课程内容：该课程主要讲解了Davinci平台的概述和快速安装和使用，工具了解即可

---考核---（可调整，联系教务老师）

 

「备注」：

 

【辅助阶段】

写出来初版的简历，然后老师进行建议，再次修改简历。简历合格，进行模拟面试。沟通面试问题等，具体事宜，到该阶段之后联系相应的教务老师进行安排。

 

【时间安排】：

学员可以自主安排学习时间。具体的时间可以灵活调整。

【相关规定】：

（1）每天完成今日学习任务，提交相应的csdn或者是有道云笔记之类的链接到每日作业中。老师会进行审核，每个阶段结束，进行阶段测评，测评通过，提交老师发布的通过截图到下一个课程的第一节的阶段卡点之后，方可进行下一章内容的学习。

（2）每个章节结束，如果觉得吸收比较乱，知识点多，可以进行xmind脑图的构造一下整体的思路！

（3）项目阶段，需要录制或者文档落地针对做过的项目的自述！

（4）每天必须按计划完成任务，临时有事需在日报中说明情况即可，长期请假请联系教务老师。

（5）考核不通过需要缴费补考，50元是第一次，每次增加50元，200元封顶（此项如有疑问，可以联系教务老师进行更改）。

【参考博客】：第二天早晨八点半，会有拜师晨报提醒。当中有学生优秀博客，可以查看学生的排版

【监督相关说明】：

弱监督：不需要每天提交作业，直接可以解锁课程，适合于自制力能力强的。

强监督：需要学习完一个课程通过管理员解锁才能继续学习下一个阶段，适合于自制力不够强，已经参加工作的学员。

【工作安排】：

（1）、批改作业，环境安装！还有学习过程中有不会的问题的话，艾特软件安装以及基础答疑老师！

（2）、学习过程中如果有什么问题和疑问，可以艾特答疑老师！

（3）、如果计划需要更改，可以群里艾特我和跟你电话测评沟通的老师进行沟通！

（4）、如果有什么方向上面的疑问，可以艾特相关的答疑老师和计划制定的老师！

（5）、如果不知道找哪位老师的话，或者问题比较紧急的可以艾特教务老师进行处理，或者有什么意见和建议（直接私聊教务老师）！教务老师会进行受理！