​​REALM — это метод для предобучения языковых моделей. С помощью REALM из предобученной модели можно извлекать знания о мире напрямую из сырых документов. При этом модели не нужно хранить факты в весах. Суть подхода в том, что модель представления слов обучается совместно с моделью извлечения знаний. По результатам экспериментов, REALM модель с 300 миллионами параметров на 4 пункта обходит T5 c 11 миллиардами параметров на задаче Open-QA.