Обложка канала

Neural Shit

35268 @NeuralShit

Проклятые нейронные сети

Neural Shit

4 года назад
Открыть в
Ну Яндекс расщедрился максимально. Они поделились своей нейронкой YaLM 100B на Github. Да, это то самое семейство YaLM, что помогает работать Алисе, Поиску и другим сервисам компании. Да, теперь разработчики и исследователи всего мира могут её использовать. Да, как в исследовательских, так и в коммерческих проектах. Зачем им она нужна? Это сейчас самая большая GPT-подобная нейросеть в открытом доступе. Она генерирует и обрабатывает тексты и на русском, и на английском. Там 100 млрд параметров, модель обучалась аж на 2 ТБ текста с помощью 800 карточек A100. Короче, это даст хороший старт в развитии генеративных нейросетей. Вы можете возразить, что Facebook буквально на днях выложил похожую модель в открытый доступ и назвал её самой большой. А вот и нет: у фейсбучной OPT 66 млрд параметров, а у YaLM — 100 млрд.