Как все и догадывались, успехи алгоритма генерации реалистичного текста GPT-2 (пока только на английском), который OpenAI не хотели публиковать из-за угрозы «Генерации фейковых новостей» частично повторили и выложили в открытый доступ:
https://medium.com/@vanya_cohen/opengpt-2-we-replicated-gpt-2-because-you-can-too-45e34e6d36dc

Это стало возможным из-за того, что OpenAI все же сдался на днях и опубликовал свою «среднюю» модель, но не опубликовал «финальные» веса: https://openai.com/blog/gpt-2-6-month-follow-up/

На основе этих данных и смогли воспроизвести «финальные» веса.

Называется это все OpenGPT-2 – можно скачать как и веса, так и запустить алгоритм в Google Colab. Отдельно ребята отмечают, что если по их коду тренировать нейронку с нуля, то придется вложить 50k$ на облачные вычисления.

Пример работы – на вход OpenGPT-2 дали:

«Recycling is good for the world. NO! YOU COULD NOT BE MORE WRONG!!»

И нейронка сгенерировала длинную статью которая начинается :

«That´s because recycling is all about selling to customers who cannot afford to recycle.” If you don’t have any interest in recycling, in whatever form, then you could well be doing your own global environmental benefit if you just got rid of it. Let me explain. Recycling takes time, money and energy, and it doesn’t really solve the problem...»

Правда работает и правда генерирует текст который не отличить от некоторых сумасшедших постов в фейсбуке. Ждем появления нейро-SEO-специалистов?