Параллельная обработка больших файлов в Python
Для параллельной обработки мы делим задачу на подгруппы. Это увеличивает количество заданий, обрабатываемых программой, и сокращает общее время обработки.
Например, если вы работаете с большим CSV-файлом и хотите изменить один столбец. Мы передадим данные в виде массива в функцию, и она будет параллельно обрабатывать несколько значений одновременно, основываясь на количестве доступных рабочих. Количество рабочих зависит от количества ядер в вашем процессоре.
www.kdnuggets.com/2022/07…hon.html@BookPython