Обложка канала

Клуб CDO

1243 @cdo_club

Сообщество профессионалов в области работы с данными и ИИ

Клуб CDO

4 года назад
Открыть в
Новые рекорды объема языковых моделей - натренирована и опубликована очередная супер большая языковая модель: BigScience Large Open-science Open-access Multilingual Language Model (BLOOM). Поддерживает 43 человеческих языка и 13 машинных. Тренировка заняла 4 месяца и осуществлялась на кластере из 416 A100 80GB GPUs. На текущий момент это самая большая языковая мульти-модальная модель. https://www.infoq.com/news/2022/07/bigscience-bloom-nlp-ai/?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global
BigScience Releases 176B Parameter AI Language Model BLOOM

The BigScience research workshop released BigScience Large Open-science Open-access Multilingual Language Model (BLOOM), an autoregressive language model based on the GPT-3 architecture. BLOOM is trained on data from 46 natural languages and 13 programming languages and is the largest publicly available open multilingual model.

InfoQ