大数据是对海量数据进行存储、计算、统计、分析处理的一系列处理手段，处理的数据量通常是 TB 级，甚至是 PB 或 EB 级的数据，这是传统数据处理手段所无法完成的，其涉及的技术有分布式计算、高并发处理、高可用处理、集群、实时性计算等，汇集了当前IT领域热门流行的 IT 技术。
阶段一：大数据开发入门
- Linux
-
-
用户管理
-
权限管理
-
网络管理
-
SSH
-
-
- MySQL
-
-
DML
-
DQL
-
多表查询
-
分组查询
-
-
- Kettle
-
-
脚本组件
-
-
- BI 工具
-
-
常用图表
-
-
阶段一：从传统关系型数据库入手，掌握数据迁移工具、BI 数据可视化工具、SQL，对后续学习打下坚实基础。
阶段二：大数据核心基础
- Zookeeper
-
-
存储模型
-
ZK集群搭建
-
-
- Hadoop HDFS
-
-
Block 块存储
-
读写流程
-
NameNode
-
DataNode
-
-
- Hadoop MapReduce
-
-
执行流程
-
-
- Hadoop YARN
-
-
架构原理
-
执行流程
-
-
- Hive
-
-
数据类型
-
分区分桶
-
拉链表
-
元数据
-
数据压缩
-
存储格式
-
原理架构
-
-
阶段二：学习 Linux、Hadoop、Hive，掌握大数据基础技术，满足大数据开发行业的初级需求，可以从事 ETL 及 Hive 数仓工程师。
阶段三：数据仓库技术
- CDH
-
-
组件构建
-
-
- 数仓分层架构
-
-
DIM
-
DWS
-
DWD
-
DM
-
-
- Hive + Presto
-
-
SQL 调优
-
-
- Hive 性能调优
-
-
JOIN 调优
-
-
- 调度
-
-
Azkaban
-
-
阶段三：以真实项目为驱动，学习离线数据仓库技术，可应对高级数仓工程师、中级大数据工程师的岗位。
阶段四：内存计算技术
- Python 编程
-
-
数据结构
-
函数
-
面向对象
-
异常处理
-
模块与包
-
网络编程
-
多进程
-
多线程
-
闭包
-
装饰器
-
-
- Spark
-
-
Spark RDD
-
Spark DF
-
Spark DAG
-
Spark SQL
-
内存迭代
-
性能调优
-
任务调度
-
Pandas on Spark
-
Spark on Hive
-
Spark Shuffle
-
-
阶段四：Spark官方已经在首页中将 Python 作为第一语言，在3.2版本的更新中，高亮提示内置捆绑 Pandas；课程完全顺应技术社区和招聘岗位需求的趋势，加入Python on Spark 的内容。
阶段五：实时计算
- Flink Core
-
-
批流一体
-
Windows 操作
-
State 操作
-
DataStream
-
Checkpoint
-
Flink SQL
-
任务调度
-
负载均衡
-
状态管理
-
Runtime
-
执行计划
-
Flink性能监控与调优
-
Flink + Elasticsearch
-
Flink + Kafka
-
Flink + Pulsar
-
Flink + ClickHouse
-
-
阶段五：握时下火热的大数据实时计算技术。
