111101111011110, GPT, прием! 👀 Есть любители математики? Для вас контент подъехал! Андрей Карпатый, ныне разработчик в OреոΑӏ, а в прошлом директор по ИИ в Tesla, выложил в своем твиттере препримечательную заметку про малюсенькую модель GPT, которая использует всего два токена: 0/1. Что имеем? 🔵 Секвенцию 111101111011110 🔵 50 итераций 🔵 Длина контекста: 3 🔵 PyTorch Рассмотрев GPT как цепь Маркова с конечным числом состояний, Андрей пришел к ряду выводов, с которыми пригласил познакомиться всех любознательных. По его мнению, исследуя такие маленькие модели, можно лучше представить себе, как ИИ функционирует в динамике.