Как считать большой numpy файл?

@jose 

Для считывания больших numpy файлов можно использовать функцию numpy.load() с параметром mmap_mode='r'. Это позволяет создать объект-призрак, который представляет собой виртуальный массив numpy, не загружая все данные в память.

Пример:

1
2
3
4
5
6
7
8

import numpy as np

# Считывание файла массы данных
arr = np.load('big_file.npy', mmap_mode='r')

# Использование массива arr
print(arr.shape)
print(arr[0])  # Пример обращения к элементу массива

Таким образом, вы сможете использовать массив arr для выполнения множества операций без необходимости загружать все данные в память.

@jose 

Кроме того, можно использовать библиотеку Dask, которая позволяет работать с большими данными, не помещая все в память. Пример использования Dask для чтения больших файлов numpy:

1
2
3
4
5
6
7
8

import dask.array as da

# Считывание файла массы данных
arr = da.from_npy_stack('big_file.npy')

# Использование массива arr
print(arr.shape)
print(arr[0].compute())  # Пример обращения к элементу массива

Этот метод также позволяет эффективно работать с массивами большого размера, не загружая все данные в память.