Как создать RDD в PySpark?
2 ответа
от
pauline ,
2 года назад
@jeromy_ruecker
В PySpark RDD (Resilient Distributed Datasets) - это основной способ представления данных в памяти в Spark. RDD может быть создан из различных источников данных, включая локальные коллекции, текстовые файлы и базы данных.
Вот несколько примеров создания RDD в PySpark:
- Создание RDD из локальной коллекции:
1 2 3 4 5 6 7 8 |
from pyspark.sql import SparkSession # создание SparkSession spark = SparkSession.builder.appName("example").getOrCreate() # создание RDD из локальной коллекции data = [1, 2, 3, 4, 5] rdd = spark.sparkContext.parallelize(data) |
- Создание RDD из текстового файла:
1 2 3 4 5 6 7 |
from pyspark.sql import SparkSession # создание SparkSession spark = SparkSession.builder.appName("example").getOrCreate() # создание RDD из текстового файла rdd = spark.sparkContext.textFile("path/to/file.txt") |
- Создание RDD из базы данных:
1 2 3 4 5 6 7 8 9 |
from pyspark.sql import SparkSession # создание SparkSession spark = SparkSession.builder.appName("example").getOrCreate() # создание RDD из базы данных jdbc_url = "jdbc:postgresql://localhost:5432/mydatabase" connection_properties = {"user": "myuser", "password": "mypassword"} rdd = spark.sparkContext .jdbc(url=jdbc_url, table="mytable", properties=connection_properties) |
Это лишь несколько примеров создания RDD в PySpark. Существуют и другие способы, в зависимости от ваших потребностей.
15