Laravel LazyCollection совместо с PHP генератором, пример чтение CSV

В Laravel есть мощный инструмент под названием LazyCollection, который позволяет работать с большими наборами данных, минимизируя потребление памяти. В этой статье мы рассмотрим, как использовать LazyCollection для чтения и обработки больших CSV файлов построчно, и сравним его с традиционными подходами.

Что такое LazyCollection?

LazyCollection — это специальный класс в Laravel, который позволяет работать с большими наборами данных «лениво», то есть данные загружаются только тогда, когда они действительно нужны. Это особенно полезно при работе с большими файлами, базами данных или API, где загрузка всех данных в память может быть невозможна или неэффективна.

LazyCollection использует генераторы PHP под капотом, что делает его идеальным инструментом для обработки данных, которые не помещаются в память целиком.

Традиционный подход: чтение CSV файла в память

Рассмотрим традиционный способ чтения CSV файла в Laravel с использованием метода file():

use Illuminate\Support\Facades\Storage;

function readCsvFile($filePath) {
    $lines = file($filePath, FILE_IGNORE_NEW_LINES | FILE_SKIP_EMPTY_LINES);
    foreach ($lines as $line) {
        $data = str_getcsv($line);
        // Обработка данных
        processData($data);
    }
}

function processData($data) {
    // Логика обработки данных
    echo implode(', ', $data) . "\n";
}

readCsvFile(storage_path('app/large_file.csv'));

В этом примере весь файл загружается в память с помощью функции file(), что может привести к значительному потреблению памяти, особенно если файл очень большой.

Использование LazyCollection для чтения CSV файла

Теперь рассмотрим, как можно использовать LazyCollection для чтения CSV файла построчно:

use Illuminate\Support\LazyCollection;
use Illuminate\Support\Facades\Storage;

function readCsvFileLazy($filePath) {
    return LazyCollection::make(function () use ($filePath) {
        $file = fopen($filePath, 'r');
        while (($line = fgets($file)) !== false) {
            yield str_getcsv($line);
        }
        fclose($file);
    });
}

function processData($data) {
    // Логика обработки данных
    echo implode(', ', $data) . "\n";
}

readCsvFileLazy(storage_path('app/large_file.csv'))->each(function ($data) {
    processData($data);
});

В этом примере мы создаем LazyCollection с помощью метода make(), который принимает замыкание. Внутри замыкания мы открываем файл и читаем его построчно с помощью fgets(). Каждая строка обрабатывается и возвращается с помощью yield. Таким образом, в памяти одновременно находится только одна строка файла.

Преимущества LazyCollection

1. Экономия памяти: LazyCollection загружает данные по частям, что позволяет обрабатывать файлы практически любого размера без риска исчерпания памяти.
2. Ленивая загрузка: Данные загружаются только тогда, когда они действительно нужны, что может ускорить выполнение программы.
3. Удобство использования: LazyCollection интегрирован в Laravel и предоставляет множество полезных методов, таких как each(), map(), filter() и другие, которые можно использовать для обработки данных.

Сравнение потребления памяти

Предположим, у нас есть CSV файл размером 1 ГБ.

• Традиционный подход: Весь файл загружается в память, что требует примерно 1 ГБ оперативной памяти (или даже больше, учитывая накладные расходы на хранение массива строк).
• LazyCollection: В памяти находится только одна строка файла, что требует минимального объема памяти (несколько килобайт).

Таким образом, использование LazyCollection позволяет обрабатывать файлы практически любого размера, не опасаясь исчерпания памяти.

Пример использования LazyCollection в реальном приложении

Предположим, у нас есть задача импортировать данные из большого CSV файла в базу данных. Использование LazyCollection делает эту задачу простой и эффективной:

use Illuminate\Support\LazyCollection;
use Illuminate\Support\Facades\Storage;
use App\Models\Product;

function importProductsFromCsv($filePath) {
    LazyCollection::make(function () use ($filePath) {
        $file = fopen($filePath, 'r');
        while (($line = fgets($file)) !== false) {
            yield str_getcsv($line);
        }
        fclose($file);
    })->each(function ($data) {
        // Предположим, что $data содержит: [name, price, quantity]
        Product::create([
            'name' => $data[0],
            'price' => $data[1],
            'quantity' => $data[2],
        ]);
    });
}

importProductsFromCsv(storage_path('app/products.csv'));

В этом примере мы используем LazyCollection для чтения CSV файла и создания записей в базе данных. Каждая строка файла обрабатывается и сохраняется в базе данных, при этом в памяти находится только одна строка.

Заключение

LazyCollection в Laravel — это мощный инструмент для работы с большими наборами данных, который позволяет значительно снизить потребление памяти. В примере с чтением CSV файла построчно мы увидели, как LazyCollection может заменить традиционный подход, делая код более эффективным и масштабируемым. Если вы работаете с большими файлами или наборами данных, обязательно рассмотрите возможность использования LazyCollection для оптимизации вашего кода.

Используйте LazyCollection, и ваши приложения станут более производительными и устойчивыми к нагрузкам!