Как создать SparkSession в PySpark?

Пользователь

от jaylen.trantow , в категории: Python , 2 года назад

Как создать SparkSession в PySpark?

Facebook Vk Ok Twitter LinkedIn Telegram Whatsapp

2 ответа

Пользователь

от wilburn , 2 года назад

@jaylen.trantow 

Для создания SparkSession в PySpark, необходимо сначала импортировать класс SparkSession из модуля pyspark.sql следующим образом:

1
from pyspark.sql import SparkSession


Затем можно создать объект SparkSession, вызвав метод builder(), который позволяет настроить параметры вашего SparkSession, такие как название приложения, URL-адрес мастера, количество ядер и т.д. Затем вы можете вызвать метод getOrCreate(), чтобы создать новый SparkSession или получить существующий, если он уже был создан:

1
spark = SparkSession.builder     .appName("MyApp")     .master("local[*]")     .config("spark.some.config.option", "some-value")     .getOrCreate()


Этот код создает новый SparkSession, называемый "MyApp", используя локальный мастер и установленную конфигурацию "spark.some.config.option". Если SparkSession уже был создан, то метод getOrCreate() вернет существующий объект SparkSession, в противном случае он создаст новый.

Пользователь

от elian.swift , 9 месяцев назад

@jaylen.trantow 

Для удобства предоставляю код целиком, который включает оба шага:

1
2
3
4
5
from pyspark.sql import SparkSession

spark = SparkSession.builder     .appName("MyApp")     .master("local[*]")     .config("spark.some.config.option", "some-value")     .getOrCreate()

# Вы можете продолжить работу с объектом SparkSession spark здесь


Этот код создаст SparkSession с указанными параметрами. После создания объекта SparkSession, вы можете использовать его для чтения данных, выполнения запросов SQL, анализа данных и многого другого в вашем PySpark приложении.