#opensource : RuLeanALBERT от Yandex Research 2.9B трансформер для русского, которая влезет в домашнюю ПеКарню ресерчера Мало того, что это самая большая БЕРТ-подобная модель для русского языка, которая показывает крутые результаты в бенчмарках, так еще и с кодом для fine-tuning-а GitHub А в статье можете узнать, как обучалась эта модель (а-ля коллаборативное глубокое обучение) на фреймворке по децентрализованному обучению Hivemind