Если Pandas удобно использовать для небольших наборов данных, то Pyspark - отличный инструмент для распределенных вычислений огромных массивов данных. Возьмите на заметку готовую инструкцию по преобразованию кода Pandas в Pyspark. https://nuancesprog.ru/p/14770/ @nuancesprog #Python #Pandas #Pyspark