大数据学习路线教程图,如何快速入门Spark
admin
2023-01-23 17:43:08
0

随着互联网的发展,大数据已经成为了新一代的“网红”,各行各业几乎都和大数据产生着关系。Spark是大数据中重要的框架之一,下面为大家分享如何快速入门spark。

Apache Spark是在大数据工业界里用的最多的基于内存的技术框架,尤其是RDD的特性以及应用,对帮助理解Spark和任务提交的流程以及缓存机制。

通过以上教程可以让大家掌握Spark的环境搭建,任务调度流程,以及RDD代码的应用。

课程目录:

第1章 Spark知识讲解

01_为什么学习Spark

02_Spark和MapReduce的对比.mp4

03_Spark框架体系

04_Spark下载

05.Spark运行模式介绍

06.Spark集群安装

07.Spark程序执行流程

08.Spark相关名词解释

09_SparkShellLocal

10_SparkShellCluster

11_Spark2.2和Spark1.6Shell对比

第2章 Maven和IDEA

12_Maven和IDEA下载

13_Maven安装

14_IDEA安装

15_IDEA中配置Maven

16_Scala环境安装和IDEA中配置Scala插件

17_IDEA创建Spark工程

18_Spark开发WordCount程序

19_Spark程序打包

20_Spark集群运行打包程序

第3章 RDD知识讲解

21_RDD概念

22_RDD执行流程

23_RDD属性

24_RDD弹性

25_RDD的两种创建

26_RDD编程API

第4章 Transformation算法

27_Transformation算法

28_Action算法

29_Map

30_filter

31_flatMap

32_sample

33 union

34 intersection

35 distinct

36 join

37_leftOuterJoin

38_rightOuterJoin

39_cartesian

40_groupBy

41_mapPartition

42_mapPartitionWithIndex

43_sortby

44_sortbykey

45_repartition

46_coalesce

47_partitionBy

48_repartitionAndSortWithinPartitions

49_reduce

50_reduceByKey

51_aggregateByKey

52_combineByKey

第5章 Action算法

53_collect

54_count

55_top

56_take

57_takeOrdered

58_first

59_saveAsTextFile

60_foreach

61_其他算子之countByKey

62_其他算子之countByValue

63_其他算子之filterByRange

64_其他算子之flatMapValues

65_其他算子之foreachPartition

66_其他算子之keyBy

67_其他算子之keys和values

68_其他算子之collectAsMap

69_RDD函数传递

70_RDD的依赖关系

71_RDD任务划分

72_Lineage血统

73_RDD缓存(持久化)

相关内容

热门资讯

苏州正式设立人工智能发展办公室 新京报讯 据“苏州发布”微信公众号消息,近日,苏州市正式设立人工智能发展办公室,进一步统筹苏州市人工...
警方通报“16岁高中生被刺死”... 7月22日,内蒙古乌拉特前旗公安局针对“16岁高中生被刺死,事发地疑为涉黄场所”发布警情通报,通报关...
达观数据陈运文:智能体竞争,正... 随着AI智能体加速进入产业应用,市场规模持续增长,但企业关注的重点正在发生变化。 中商产业研究院发布...
磁力混合器突破3D生物打印细胞... 3D生物打印是生物工程领域的重要技术,通过将活细胞混入柔性水凝胶(即"生物墨水")来打印活体组织,广...
王兴兴:做好准备迎接即将突破的... 王兴兴在开幕式上发表演讲。 王兴兴在演讲中提到,宇树科技成立于2016年,经过近10年努力,已经成为...
不排除提告!屡遭苏巧慧阵营抹黑... 海峡导报综合报道 国民党新北市长参选人李四川的板桥房产问题屡遭绿营质疑,对手苏巧慧阵营再度指控李四川...
俄外长:将在马尼拉同鲁比奥会晤... 据凤凰卫视报道,正在菲律宾出席东盟外长会的俄罗斯外长拉夫罗夫7月22日表示,他将于23日上午在马尼拉...
小鸭洗衣机皮带修理方法 小鸭洗衣机皮带在长时间使用过程中,可能会出现磨损或者老化,导致洗衣机无法转动或者转速变慢。这时候,我...
小天鹅洗衣机坏了怎么修理 小天鹅洗衣机是一种非常优秀的家用电器,但是由于长期使用或人为原因,也会存在各种故障。如果你的小天鹅洗...
洗衣机玻璃坏了怎么修理 如果你的洗衣机玻璃坏了,你可以尝试进行一些修理,如果你有经验。然而,如果你没有经验,我们建议你找一个...