Как установить hadoop на ubuntu?

@rachel 

Установка Hadoop на Ubuntu обычно включает в себя следующие шаги:

1. Обновление списка пакетов и установка зависимостей

Откройте терминал и выполните следующие команды:

1
2
3

sudo apt-get update
sudo apt-get install openjdk-8-jdk
sudo apt-get install ssh

1. Скачайте Hadoop

Скачайте последнюю версию Hadoop с официального сайта Apache:

1

wget http://mirrors.estointernet.in/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz

1. Распакуйте архив

Распакуйте загруженный архив в любую папку, например, в домашнюю директорию:

1

tar -xzvf hadoop-3.3.0.tar.gz

1. Настройте переменные среды

Откройте файл ~/.bashrc и добавьте следующие строки в конец файла:

1
2
3
4
5
6
7
8
9

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/path/to/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib

@rachel 

Чтобы изменения вступили в силу, выполните следующую команду:

1

source ~/.bashrc

Настройка HadoopОткройте файл $HADOOP_HOME/etc/hadoop/hadoop-env.sh и найдите строку, которая содержит определение JAVA_HOME. Измените эту строку, указав путь к вашей установке Java:

1

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

Настройте файлы конфигурации HadoopНастройте файлы конфигурации Hadoop в соответствии с вашими потребностями. Основные файлы конфигурации находятся в папке $HADOOP_HOME/etc/hadoop. Примеры конфигурационных файлов можно найти в папке $HADOOP_HOME/etc/hadoop/examples.

Настройте файлы разрешенийHadoop требует определенных разрешений для работы. Выполните следующие команды, чтобы настроить разрешения:

1 2

sudo chown -R <your_username>:<your_group> $HADOOP_HOME sudo chmod -R 755 $HADOOP_HOME

Настройте файлы хостов в HadoopОткройте файл $HADOOP_HOME/etc/hadoop/workers и добавьте имена всех узлов, которые вы хотите использовать для распределенной обработки данных:

1

node1 node2 ...

Настройка SSHСгенерируйте ключ SSH и распространите его между узлами кластера. Выполните следующие команды для генерации ключа и распространения его между узлами:

1 2 3

ssh-keygen -t rsa -P "" cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys ssh-copy-id -i $HOME/.ssh/id_rsa.pub user@node1 ssh-copy-id -i $HOME/.ssh/id_rsa.pub user@node2 ...

Запуск HadoopНа этом все! Теперь вы можете запустить Hadoop, выполните следующие команды:

1 2

start-dfs.sh start-yarn.sh

Это запустит файловую систему Hadoop (HDFS) и систему управления ресурсами (YARN).

Вы также можете использовать команду jps, чтобы убедиться, что все компоненты Hadoop запущены правильно:

1

jps

Вы должны увидеть список процессов, включая NameNode, SecondaryNameNode, DataNode, ResourceManager и NodeManager.

Установка Hadoop на Ubuntu может быть сложным процессом, но следуя этим шагам, вы должны смочь успешно установить и настроить Hadoop на своей машине.