Как считать большой numpy файл?

Пользователь

от jose , в категории: Python , 7 месяцев назад

Как считать большой numpy файл?

Facebook Vk Ok Twitter LinkedIn Telegram Whatsapp

2 ответа

Пользователь

от francis_schuster , 7 месяцев назад

@jose 

Для считывания больших numpy файлов можно использовать функцию numpy.load() с параметром mmap_mode='r'. Это позволяет создать объект-призрак, который представляет собой виртуальный массив numpy, не загружая все данные в память.


Пример:

1
2
3
4
5
6
7
8
import numpy as np

# Считывание файла массы данных
arr = np.load('big_file.npy', mmap_mode='r')

# Использование массива arr
print(arr.shape)
print(arr[0])  # Пример обращения к элементу массива


Таким образом, вы сможете использовать массив arr для выполнения множества операций без необходимости загружать все данные в память.

Пользователь

от josie , месяц назад

@jose 

Кроме того, можно использовать библиотеку Dask, которая позволяет работать с большими данными, не помещая все в память. Пример использования Dask для чтения больших файлов numpy:

1
2
3
4
5
6
7
8
import dask.array as da

# Считывание файла массы данных
arr = da.from_npy_stack('big_file.npy')

# Использование массива arr
print(arr.shape)
print(arr[0].compute())  # Пример обращения к элементу массива


Этот метод также позволяет эффективно работать с массивами большого размера, не загружая все данные в память.