⚙️ Microsoft разработала сервис Singularity для распределенного планирования рабочих нагрузок ИИ «планетарного масштаба». Она позволяет использовать более 100 000 графических процессоров одновременно. Для анализа производительности системы разработчики протестировали несколько популярных моделей, включая GPT-2, ResNet50 и BERT. Все эксперименты проводились на серверах Nvidia DGX-2 с использованием Xeon Platinum 8168 с двумя сокетами по 20 ядер каждый, восемью графическими процессорами модели V100 на сервер, 692 ГБ ОЗУ и сетью InfiniBand. 💬 По данным компании, ПО автоматически отделяет работу от ресурсов ускорителя, что позволяет при увеличении или уменьшении масштабов задания изменять количество требуемых устройств. #Microsoft