Yandex Research выложил в опенсорс RuLeanALBERT — самую большую BERT-подобную модель на русском языке, которая поместится на ваш компьютер Нейросеть обучали децентрализованно с помощью вычислительной платформе Яндекса. На бенчмарках по пониманию языка она показывает результаты, сравнимые с другими открытыми моделями и где-то даже близкие к state-of-the-art. Модель хотя и имеет миллиарды параметров, но вполне способна уместиться на одну домашнюю GPU: вы можете использовать её открытый код в своих проектах для классификации предложений, представления текстов и других языковых задач, не требующих генерации. Yandex Research — это исследовательская группа в Яндексе, которая занимается фундаментальными проблемами в важнейших областях computer science. Подробности – в статье на Хабре