Забавно, исследователи Яндекса (Yandex Research) снова приоткрывают модельки. На этот раз — берт-подобную RuLeanALBERT (линал!), можно вникнуть в идею на Хабре и посмотреть в код на гитхабе. Только это больше не про генерацию, а про классификацию и другие задачки. Вроде как результаты сравнимы с другими доступными моделями, где-то даже близки к state-of-the-art. Яндекс предлагает потестировать на домашнем компе, интересно, заведётся?