本课程采用2020年9月8日正式发布的Spark3.0系列最新稳定版:Spark3.0.1。共课程包括9章:Spark环境建设,SparkCore,SparkStreaming,SparkSQL,StructuredStreaming,Spark综合案例,Spark多语言开发,Spark3.Spark性能调优0新特性 。

课程目录

Spark-day01

00-(理解)-课程内容介绍.mp4

01-(理解)-Spark发展历史及特点介绍.mp4

02-(掌握)-Spark环境建设-local本地模式.mp4

03-(掌握)-Spark环境建设-Standalone集群模式.mp4

04-(掌握)-Spark环境建设-Standalone-HA集群模式.mp4

05-(细心)-Spark环境建设-On-Yarn-原则和准备工作.mp4

06-(理解)-Spark环境建设-On-Yarn-两种模式.mp4

07-(掌握)-Spark环境建设-On-Yarn-演示两种模式.mp4

08-(补充)-Spark环境建设-spark-shel和spark-submit.mp4

09-掌握-Spark代码开发-准备.mp4

10-(重点)-Spark代码开发-入门案例.mp4

11-(重点)-Spark代码开发-OnYarn.mp4

(理解)-Spark代码开发-WordCount图解.mp4

13-(总结)-总结和操作.mp4

Spark-day02

01-(理解)-RDD理论详解.mp4

02-(掌握)-RDD的创建.mp4

03-(掌握)-RDD的操作分类和基本操作演示.mp4

04-(掌握)-RDD分区操作.mp4

05-(掌握)-RDD的重分区操作.mp4

06-(掌握)-RDD的聚合操作.mp4

07-(面试题)-RDD聚合reduceByKey和groupbyKey.mp4

08-(掌握)-RDD关联.mp4

09-(掌握)-RDD排序.mp4

10-(掌握)-RDD缓存-持久性.mp4

11-(掌握)-RDDCheckpoint.mp4

12-(掌握)-共享变量-广播变量和累加器.mp4

13-(掌握)-外部数据源-多种数据格式.mp4

14-(理解)-外部数据源-操作JDBC-写作.mp4

15-(理解)-外部数据源-操作JDBC-读取.mp4

Spark-day03

01-(理解)-spark内核原理-依赖关系.mp4

02-(理解)-spark内核原理-DAG和Stage.mp4

03-(理解)-spark内核原理-名词解释.mp4

04-(理解)-spark内核原理-job提交流程.mp4

05-(理解)-spark内核原理-web-UI查看.mp4

06-(理解)-搜狗搜索日志分析-亲自测试需求和分词.mp4

07-(理解)-搜狗搜索日志分析-代码实现.mp4

08-(理解)-流式计算应用场景.mp4

09-(理解)-流式计算实现模式.mp4

10-(理解)-SparkStreaming介绍-特征-流程-原理.mp4

11-(理解)-SparkStreaming数据抽象-DStream.mp4

12-掌握-SparkStreaming案例1-WordCount.mp4

13-掌握-SparkStreaming案例2-状态管理.mp4

14-(扩展)-SparkStreaming案例3-状态恢复.mp4

15-(重难点)-SparkStreaming案例4-窗口计算.mp4

Spark-day04

01-(掌握)-SparkStreamin案例5-topN.mp4

02-掌握-SparkStreaming案例6-自定义输出.mp4

03-(理解)-SparkStreaming整合Kafka前置说明-连接模式和API版本.mp4

04-(重点)-SparkStreaming集成Kafka-代码-1-自动提交偏移量.mp4

05-(掌握)-SparkStreaming集成Kafka-代码-2-手动提交偏移量.mp4

06-(扩展)-SparkStreaming集成Kafka-代码-3-手动提交偏移到MySQL.mp4

07-(理解)-SparkSQL概述-数据分析.mp4

08-(理解)-SparkSQL概述-官方介绍-数据格式.mp4

SparkSQL数据抽象09-(理解).mp4

10-掌握-SparkSQL实战-1-加载数据成为分布式表.mp4

11-掌握-SparkSQL实战-2-RDD转DF-1-使用样例类.mp4

12-掌握-SparkSQL实战-2-RDD转移DF-2-指定类型+列名.mp4

13-掌握-SparkSQL实战-2-RDD转DF-3-Schema自定义.mp4

14-(掌握)-SparkSQL实战-3-RDD-DF-DS-相互转换.mp4

15-掌握-SparkSQL实战-4-花式查询.mp4

16-(掌握)-SparkSQL实战-5-WordCount.mp4

Spark-day05

01-掌握-SparkSQL案例-6-多数据源支持.mp4

02-掌握-SparkSQL案例-7-电影数据分析.mp4

03-(掌握)-SparkSQL案例-8-SparkSQL-UDF.mp4

04-(掌握)-SparkSQL集成Hive-1-SparkSQL命令.mp4

05-掌握-SparkSQL集成Hive-2-SparkSQL代码操作Hive.mp4

06-(掌握)-SparkSQL分布式SQL引擎.mp4

07-(理解)-StructuredStreaming引入.mp4

(理解)-StructuredStreaming介绍.mp4

09-(理解)-StructuredStreaming编程模型和数据抽象.mp4

10-(掌握)-StructuredStreaming-Source-Socket.mp4

11-(了解)-StructuredStreaming-Source-Rate.mp4

12-(了解)-StructuredStreaming-Source-File.mp4

13-(掌握)-StructuredStreaming-Operation.mp4

14-(掌握)-StructuredStreaming-输出模式.mp4

15-(掌握)-StructuredStreaming-输出位置.mp4

16-(掌握)-StructuredStreaming-ForeachBatch.mp4

17-(掌握)-StructuredStreaming-Checkpoint连续处理.mp4

Spark-day06

01-(理解)-StructuredStreaming整合Kafka官方说明.mp4

02-(掌握)-StructuredStreaming整合Kafka-案例1-实时ETL.mp4

03-(掌握)-StructuredStreaming整合Kafka-案例2-物联网设备实时分析.mp4

04-(掌握)-StructuredStreaming-基于事件时间的窗口计算-水位线解决数据延迟到达问题.mp4

05-(掌握)-StructuredStreaming-流去重.mp4

06-(理解)-Spark综合案例-流程分析和业务模块划分.mp4

07-(理解)-Spark综合案例-环境建设和数据发送.mp4

08-(掌握)-Spark综合案例-实时数据分析-代码实现-1-数据加载和转换.mp4

09-(掌握)-Spark综合案例-实时数据分析-代码实现-2-业务需求代码实现.mp4

10-(理解)-Spark综合案例-实时推荐易错题-需求分析和模型准备.mp4

11-(掌握)-Spark综合案例-实时推荐易错题-代码实现-1-加载数据和模型.mp4

12-(掌握)-Spark综合案例-实时推荐易错题-代码实现-2-向用户推荐并存储推荐结果.mp4

Spark-day07

01-(理解)-Spark综合案例-学生答案离线分析-需求分析.mp4

02-(理解)-Spark综合案例-学生答题离线分析-代码实现-1.mp4

03-(理解)-Spark综合案例-学生答题离线分析-代码实现-2.mp4

04-(补充)-推荐系统概述.mp4

05-(补充)-推荐算法分类.mp4

06-(补充)-推荐算法-ALS-补充数学基础.mp4

07-(补充)-推荐算法-ALS-案例需求和算法思想.mp4

08-(补充)-推荐算法-ALS-电影推荐案例-代码实现.mp4

09-(补充)-推荐算法-ALS-在易错题推荐案例中实现模型.mp4

10-(理解)-Spark3.0诞生背景.mp4

11-(理解)-Spark3.新特性-动态分区剪裁.mp4

12-(理解)-Spark3.初始体验-代码演示.mp4

12-(理解)-Spark3.新特性-自适应查询执行优化.mp4

13-(理解)-Spark3.新特性-加速器感知调度.mp4

14-(理解)-Spark3.新特性-更好的API扩展.mp4

15-(理解)-Spark3.新特性-更好的SQL支持和SparkR的向量读写.mp4

16-(理解)-Spark3.初始体验-静态分区剪裁.mp4

17-(理解)-Spark3.0初始体验-动态分区裁剪-动态分区裁剪.mp4

18-(注意)-Spark3.初始体验-参数设置及注意事项.mp4

19-(理解)-Spark3.初始体验-结果对比.mp4

20-(理解)-Spark生态与未来.mp4

Spark-day08

01-(理解)-Spark多语言开发-说明.mp4

02-掌握-Spark多语言开发-JavaSpark-SparkCore.mp4

03-掌握-Spark多语言开发-JavaSpark-SparkStreaming.mp4

04-(掌握)-Spark多语言开发-JavaSpark-SparkSQL.mp4

05-(掌握)-Spark多语言开发-JavaSpark-StructuredStreaming.mp4

06-(理解)-Spark多语言开发-JavaSpark-线性回归算法-房价预测案例.mp4

07-(理解)-Spark多语言开发-JavaSpark-线性回归算法-房价预测案例-代码实现.mp4

08-(理解)-Spark多语言开发-PySpark-SparkCore.mp4

09-(理解)-Spark多语言开发-PySpark-SparkStreaming.mp4

10-(理解)-Spark多语言开发-PySpark-SparkSQL.mp4

11-(理解)-Spark多语言开发-PySpark-StructuredStreaming.mp4

12-(理解)-Spark多语言开发-PySpark-决策树算法-相亲决策案例-需求-原理-.mp4

13-(理解)-Spark多语言开发-PySpark-决策树算法-相亲决策案例-代码实现.mp4

14-(理解)-Spark性能优化-9项基本原则.mp4

15-(理解)-Spark性能优化-N多配置参数.mp4

16-(理解)-Spark性能优化-数据倾斜.mp4

17-(理解)-Spark性能优化-shufle优化.mp4

18-(理解)-Spark性能优化-内存管理.mp4

资料

[我要扒资料]

声明:本站所有文章,如无特殊说明或标注,均为本站原创发布。任何个人或组织,在未征得本站同意时,禁止复制、盗用、采集、发布本站内容到任何网站、书籍等各类媒体平台。如若本站内容侵犯了原著者的合法权益,可联系我们进行处理。