本课程采用2020年9月8日正式发布的Spark3.0系列最新稳定版:Spark3.0.1。共课程包括9章:Spark环境建设,SparkCore,SparkStreaming,SparkSQL,StructuredStreaming,Spark综合案例,Spark多语言开发,Spark3.Spark性能调优0新特性 。
课程目录
Spark-day01
00-(理解)-课程内容介绍.mp4
01-(理解)-Spark发展历史及特点介绍.mp4
02-(掌握)-Spark环境建设-local本地模式.mp4
03-(掌握)-Spark环境建设-Standalone集群模式.mp4
04-(掌握)-Spark环境建设-Standalone-HA集群模式.mp4
05-(细心)-Spark环境建设-On-Yarn-原则和准备工作.mp4
06-(理解)-Spark环境建设-On-Yarn-两种模式.mp4
07-(掌握)-Spark环境建设-On-Yarn-演示两种模式.mp4
08-(补充)-Spark环境建设-spark-shel和spark-submit.mp4
09-掌握-Spark代码开发-准备.mp4
10-(重点)-Spark代码开发-入门案例.mp4
11-(重点)-Spark代码开发-OnYarn.mp4
(理解)-Spark代码开发-WordCount图解.mp4
13-(总结)-总结和操作.mp4
Spark-day02
01-(理解)-RDD理论详解.mp4
02-(掌握)-RDD的创建.mp4
03-(掌握)-RDD的操作分类和基本操作演示.mp4
04-(掌握)-RDD分区操作.mp4
05-(掌握)-RDD的重分区操作.mp4
06-(掌握)-RDD的聚合操作.mp4
07-(面试题)-RDD聚合reduceByKey和groupbyKey.mp4
08-(掌握)-RDD关联.mp4
09-(掌握)-RDD排序.mp4
10-(掌握)-RDD缓存-持久性.mp4
11-(掌握)-RDDCheckpoint.mp4
12-(掌握)-共享变量-广播变量和累加器.mp4
13-(掌握)-外部数据源-多种数据格式.mp4
14-(理解)-外部数据源-操作JDBC-写作.mp4
15-(理解)-外部数据源-操作JDBC-读取.mp4
Spark-day03
01-(理解)-spark内核原理-依赖关系.mp4
02-(理解)-spark内核原理-DAG和Stage.mp4
03-(理解)-spark内核原理-名词解释.mp4
04-(理解)-spark内核原理-job提交流程.mp4
05-(理解)-spark内核原理-web-UI查看.mp4
06-(理解)-搜狗搜索日志分析-亲自测试需求和分词.mp4
07-(理解)-搜狗搜索日志分析-代码实现.mp4
08-(理解)-流式计算应用场景.mp4
09-(理解)-流式计算实现模式.mp4
10-(理解)-SparkStreaming介绍-特征-流程-原理.mp4
11-(理解)-SparkStreaming数据抽象-DStream.mp4
12-掌握-SparkStreaming案例1-WordCount.mp4
13-掌握-SparkStreaming案例2-状态管理.mp4
14-(扩展)-SparkStreaming案例3-状态恢复.mp4
15-(重难点)-SparkStreaming案例4-窗口计算.mp4
Spark-day04
01-(掌握)-SparkStreamin案例5-topN.mp4
02-掌握-SparkStreaming案例6-自定义输出.mp4
03-(理解)-SparkStreaming整合Kafka前置说明-连接模式和API版本.mp4
04-(重点)-SparkStreaming集成Kafka-代码-1-自动提交偏移量.mp4
05-(掌握)-SparkStreaming集成Kafka-代码-2-手动提交偏移量.mp4
06-(扩展)-SparkStreaming集成Kafka-代码-3-手动提交偏移到MySQL.mp4
07-(理解)-SparkSQL概述-数据分析.mp4
08-(理解)-SparkSQL概述-官方介绍-数据格式.mp4
SparkSQL数据抽象09-(理解).mp4
10-掌握-SparkSQL实战-1-加载数据成为分布式表.mp4
11-掌握-SparkSQL实战-2-RDD转DF-1-使用样例类.mp4
12-掌握-SparkSQL实战-2-RDD转移DF-2-指定类型+列名.mp4
13-掌握-SparkSQL实战-2-RDD转DF-3-Schema自定义.mp4
14-(掌握)-SparkSQL实战-3-RDD-DF-DS-相互转换.mp4
15-掌握-SparkSQL实战-4-花式查询.mp4
16-(掌握)-SparkSQL实战-5-WordCount.mp4
Spark-day05
01-掌握-SparkSQL案例-6-多数据源支持.mp4
02-掌握-SparkSQL案例-7-电影数据分析.mp4
03-(掌握)-SparkSQL案例-8-SparkSQL-UDF.mp4
04-(掌握)-SparkSQL集成Hive-1-SparkSQL命令.mp4
05-掌握-SparkSQL集成Hive-2-SparkSQL代码操作Hive.mp4
06-(掌握)-SparkSQL分布式SQL引擎.mp4
07-(理解)-StructuredStreaming引入.mp4
(理解)-StructuredStreaming介绍.mp4
09-(理解)-StructuredStreaming编程模型和数据抽象.mp4
10-(掌握)-StructuredStreaming-Source-Socket.mp4
11-(了解)-StructuredStreaming-Source-Rate.mp4
12-(了解)-StructuredStreaming-Source-File.mp4
13-(掌握)-StructuredStreaming-Operation.mp4
14-(掌握)-StructuredStreaming-输出模式.mp4
15-(掌握)-StructuredStreaming-输出位置.mp4
16-(掌握)-StructuredStreaming-ForeachBatch.mp4
17-(掌握)-StructuredStreaming-Checkpoint连续处理.mp4
Spark-day06
01-(理解)-StructuredStreaming整合Kafka官方说明.mp4
02-(掌握)-StructuredStreaming整合Kafka-案例1-实时ETL.mp4
03-(掌握)-StructuredStreaming整合Kafka-案例2-物联网设备实时分析.mp4
04-(掌握)-StructuredStreaming-基于事件时间的窗口计算-水位线解决数据延迟到达问题.mp4
05-(掌握)-StructuredStreaming-流去重.mp4
06-(理解)-Spark综合案例-流程分析和业务模块划分.mp4
07-(理解)-Spark综合案例-环境建设和数据发送.mp4
08-(掌握)-Spark综合案例-实时数据分析-代码实现-1-数据加载和转换.mp4
09-(掌握)-Spark综合案例-实时数据分析-代码实现-2-业务需求代码实现.mp4
10-(理解)-Spark综合案例-实时推荐易错题-需求分析和模型准备.mp4
11-(掌握)-Spark综合案例-实时推荐易错题-代码实现-1-加载数据和模型.mp4
12-(掌握)-Spark综合案例-实时推荐易错题-代码实现-2-向用户推荐并存储推荐结果.mp4
Spark-day07
01-(理解)-Spark综合案例-学生答案离线分析-需求分析.mp4
02-(理解)-Spark综合案例-学生答题离线分析-代码实现-1.mp4
03-(理解)-Spark综合案例-学生答题离线分析-代码实现-2.mp4
04-(补充)-推荐系统概述.mp4
05-(补充)-推荐算法分类.mp4
06-(补充)-推荐算法-ALS-补充数学基础.mp4
07-(补充)-推荐算法-ALS-案例需求和算法思想.mp4
08-(补充)-推荐算法-ALS-电影推荐案例-代码实现.mp4
09-(补充)-推荐算法-ALS-在易错题推荐案例中实现模型.mp4
10-(理解)-Spark3.0诞生背景.mp4
11-(理解)-Spark3.新特性-动态分区剪裁.mp4
12-(理解)-Spark3.初始体验-代码演示.mp4
12-(理解)-Spark3.新特性-自适应查询执行优化.mp4
13-(理解)-Spark3.新特性-加速器感知调度.mp4
14-(理解)-Spark3.新特性-更好的API扩展.mp4
15-(理解)-Spark3.新特性-更好的SQL支持和SparkR的向量读写.mp4
16-(理解)-Spark3.初始体验-静态分区剪裁.mp4
17-(理解)-Spark3.0初始体验-动态分区裁剪-动态分区裁剪.mp4
18-(注意)-Spark3.初始体验-参数设置及注意事项.mp4
19-(理解)-Spark3.初始体验-结果对比.mp4
20-(理解)-Spark生态与未来.mp4
Spark-day08
01-(理解)-Spark多语言开发-说明.mp4
02-掌握-Spark多语言开发-JavaSpark-SparkCore.mp4
03-掌握-Spark多语言开发-JavaSpark-SparkStreaming.mp4
04-(掌握)-Spark多语言开发-JavaSpark-SparkSQL.mp4
05-(掌握)-Spark多语言开发-JavaSpark-StructuredStreaming.mp4
06-(理解)-Spark多语言开发-JavaSpark-线性回归算法-房价预测案例.mp4
07-(理解)-Spark多语言开发-JavaSpark-线性回归算法-房价预测案例-代码实现.mp4
08-(理解)-Spark多语言开发-PySpark-SparkCore.mp4
09-(理解)-Spark多语言开发-PySpark-SparkStreaming.mp4
10-(理解)-Spark多语言开发-PySpark-SparkSQL.mp4
11-(理解)-Spark多语言开发-PySpark-StructuredStreaming.mp4
12-(理解)-Spark多语言开发-PySpark-决策树算法-相亲决策案例-需求-原理-.mp4
13-(理解)-Spark多语言开发-PySpark-决策树算法-相亲决策案例-代码实现.mp4
14-(理解)-Spark性能优化-9项基本原则.mp4
15-(理解)-Spark性能优化-N多配置参数.mp4
16-(理解)-Spark性能优化-数据倾斜.mp4
17-(理解)-Spark性能优化-shufle优化.mp4
18-(理解)-Spark性能优化-内存管理.mp4
资料
[我要扒资料]