Как установить spark на ubuntu?

Пользователь

от steve , в категории: Другие , месяц назад

Как установить spark на ubuntu?

Facebook Vk Ok Twitter LinkedIn Telegram Whatsapp

1 ответ

Пользователь

от richie_mayert , месяц назад

@steve 

Установка Apache Spark на Ubuntu состоит из нескольких шагов:

  1. Установите Java, если он еще не установлен. Для этого откройте терминал и выполните следующую команду:
1
2
sudo apt-get update
sudo apt-get install openjdk-8-jdk


  1. Убедитесь, что Java установлена правильно, выполнив следующую команду:
1
java -version


Вы должны увидеть что-то вроде "Java(TM) SE Runtime Environment (build 1.8.0_XXX)"

  1. Скачайте последнюю версию Apache Spark с официального сайта (https://spark.apache.org/downloads.html). Выберите "Pre-built for Apache Hadoop 2.7 and later" и скачайте файл с расширением ".tgz".
  2. Распакуйте скачанный файл в любую папку, например:
1
tar xvf spark-2.4.5-bin-hadoop2.7.tgz


  1. Перейдите в папку с распакованными файлами:
1
cd spark-2.4.5-bin-hadoop2.7


  1. Запустите интерпретатор Spark с помощью команды:
1
./bin/spark-shell


После этого вы должны увидеть что-то вроде "Spark context Web UI available at http://192.168.0.100