spark运行的基本流程
一、spark的基础组件及其概念
1. ClusterManager。在Standalone模式中即为Master,控制整个集群,监控Worker。在YARN模式中为资源管理器。
2. Application。用户自定义的spark程序, 用户提交后, Spark为App分配资源, 将程序转换并执行。
3. Driver。在Spark中,driver是一个核心概念,指的是Spark应用程序的主进程,也称为主节点。负责运行Application的main( ) 函数并创建SparkContext。
