Стартап HuggingFace подсчитал карбоновый след создании больших языковых моделей (LLM). Обучение их собственной модели BLOOM привело к выбросу 25 тонн углекислого газа. Эта цифра удвоилась, когда подсчитали выбросы, создаваемые во время производства "железа", используемого для обучения, и энергии, необходимой для фактического запуска BLOOM после его обучения.
50 тонн выбросов эквивалентны 60 рейсам между Лондоном и Нью-Йорком — и это значительно меньше, чем выбросы других LLM - GPT-3 и OPT, исследованных в опубликованной статье.