汇商网 科技与电子产品领域信息大全

Spark的基本用法

spark运行基本流程

一、spark的基础组件及其概念

1. ClusterManager。在Standalone模式中即为Master,控制整个集群,监控Worker。在YARN模式中为资源管理器。

2. Application。用户自定义的spark程序, 用户提交后, Spark为App分配资源, 将程序转换并执行。

3. Driver。在Spark中,driver是一个核心概念,指的是Spark应用程序的主进程,也称为主节点。负责运行Application的main( ) 函数并创建SparkContext。

版权说明:文章均为账号作者发布,不代表本网站观点与立场,如有侵权请联系我们删除