Ubuntu轻松上手：spark安装全攻略，小白也能快速入门！

1. 课程目标

本教程旨在帮助小白用户在Ubuntu操作系统上轻松安装Apache Spark，并快速入门Spark的基本使用。

2. Spark简介

Apache Spark是一个开源的分布式计算系统，它提供了快速的通用的数据处理功能。Spark能够高效地处理批处理和实时数据流，适用于各种规模的数据集。

3. Spark基于内存计算

Spark与Hadoop的MapReduce相比，其优势在于它基于内存进行计算，这大大提高了数据处理的速度。

3.1 Spark与MapReduce对比

• MapReduce ：基于磁盘运算，速度较慢。
• Spark ：基于内存运算，速度快，易用，通用，兼容性好。

4. Spark安装

以下是Spark在Ubuntu上的安装步骤。

4.1 下载Spark文件

首先，从Apache Spark官网下载适合Ubuntu的Spark版本。

wget

 4.2 解压Spark


 将下载的文件解压到指定目录。

tar -zxvf spark-3.1.1-bin-hadoop2.7.tgz -C /usr/local/cd /usr/localmv spark-3.1.1-bin-hadoop2.7 spark

 4.3 修改配置文件


 进入Spark的配置目录，并修改
 
  spark-env.sh
 
 文件。

cd /usr/local/spark/conf/mv spark-env.sh.template spark-env.shvim spark-env.sh

 在文件中添加以下配置：

export JAVA_HOME=/usr/local/jdkexport SPARK_MASTER_IP=centos1export SPARK_MASTER_PORT=7077

 4.4 修改启动命令


 重命名
 
  start-all.sh
 
 ，以避免与Hadoop的启动命令冲突。

mv start-all.sh start-spark.sh

 5. 启动Spark


 执行以下命令启动Spark。

./start-spark.sh

 6. 第一个Spark程序


 6.1 准备


 创建一个简单的Spark程序，例如WordCount。


 6.2 第一个程序


 以下是一个简单的WordCount程序的示例。

from pyspark.sql import SparkSession# 创建SparkSessionspark = SparkSession.builder.appName("WordCount").getOrCreate()# 读取数据text_file = spark.sparkContext.textFile("hdfs://namenode:9000/user/hive/warehouse/wordcount.txt")# 计算单词频率words = text_file.flatMap(lambda line: line.split(" ")).map(lambda word: (word, 1)).reduceByKey(lambda a, b: a + b)# 输出结果words.collect().take(10)

 6.3 练习


 尝试运行上述程序，观察结果。


 7. 打包到集群上运行


 将Spark程序打包到集群上运行，需要配置集群环境。


 7.1 课程目标


 本部分将介绍如何将Spark程序打包到集群上运行。


 7.2 Spark打包


 将Spark程序打包成一个jar文件。

mvn package

 7.3 运行程序


 在集群上运行打包后的程序。

spark-submit --class WordCount --master yarn --num-executors 2 --executor-memory 2g --executor-corES 2 wordcount.jar

 8. 总结


 通过本教程，你可以在Ubuntu上轻松安装Apache Spark，并快速入门Spark的基本使用。希望本教程对你有所帮助！

更多优质资源请微信扫码访问：盘姬资源网小程序