​Generative Pre-trained Transformer 3 — это третье поколение системы генерации текстов, созданной калифорнийской лабораторией по исследованию искусственного интеллекта OpenAI. Проект запустил и профинансировал в 2015 году Илон Маск. 
Главная черта, отличающая GPT-3 от собственной предыдущей инкарнации, — это объем учебного материала, на котором происходило обучение системы.
В случае GPT-3 этот объем уже выходит за рамки не то что человеческих возможностей, но и просто его осмысления. Судите сами. 
Тренинг нейросетей GPT-3 проводился на суперкомпьютере Microsoft Azure AI по 175 миллиардам параметров (!). В GPT-2 таких параметров было 1,5 млрд. Для обучения использовались следующие датасеты (наборы данных):
410 Гб тщательно подобранных текстов из архива Common Crawl (база данных, созданная в 2011 году и ежемесячно пополняемая материалами, опубликованными в мировом интернете);
19 Гб данных из подборки WebText2, также содержащей тексты веб-страниц;
12 Гб оцифрованной мировой литературы;
55 Гб еще одной книжной коллекции;
3 Гб английской Википедии.
Еще по мелочи, все про все — 570 Гб данных. В результате родился киборг, способный играючи заткнуть за пояс в плане эрудиции героиню Милы Йовович из «Пятого элемента» Люка Бессона.