💨 Специалисты из Hugging Face рассчитали углеродный след от обучения и работы больших языковых моделей. Исследователи оценили общие выбросы для собственного алгоритма BLOOM. Итоговая цифра включает количество энергии, используемой для: 📍 обучения модели на суперкомпьютере; 📍 производства оборудования; 📍 обслуживания вычислительной инфраструктуры; 📍 запуска нейросети после ее развертывания. Чтобы рассчитать показатели по последнему пункту эксперты использовали инструмент CodeCarbon, который отслеживал данные в режиме реального времени в течение 18 дней. 🗣 По словам исследователей, обучение BLOOM привело к выбросам 25 тонн углерода. Эта цифра удваивается, если учесть остальные три пункта. После запуска нейросеть выбрасывала около 19 кг углекислого газа в день. ☝️ Специалисты добавили, что углеродный след от обучения алгоритмов OpenAI GPT-3 и Meta OPT составляет более 500 и 75 тонн соответственно. #исследование #экология