📌 LOMO: LOw-Memory Optimization New optimizer, LOw-Memory Optimization enables the full parameter fine-tuning of a 7B model on a single RTX 3090, or a 65B model on a single machine with 8×RTX 3090, each with 24GB memory. Новый оптимизатор, LOw-Memory Optimization (LOMO), который объединяет вычисление градиента и обновление параметров в один шаг для уменьшения использования памяти. Интегрируя LOMO с существующими методами экономии памяти, можно сократить использование памяти до 10,8% по сравнению со стандартным подходом (решение DeepSpeed). 🖥 Github: https://github.com/OpenLMLab/LOMO/tree/main 📕 Paper: https://arxiv.org/pdf/2306.09782.pdf 🔗 Dataset: https://paperswithcode.com/dataset/superglue ai_machinelearning_big_data