Обложка канала

Zavtracast

Подкаст о завтрашнем дне в технологиях, играх, медиа и интернете. 18+

Zavtracast

4 года назад
Открыть в
У Цукербука утекли веса их языковой модели LLAMA, которую они делали как ответ на ChatGPT от OpenAI. Причём, утекли они на торренты через фочан. Ссылку просто вкинули на гитхаб проекта через пулл-реквест. И там выложены 224Гб архивов .pth-файлов, которые включают в себя 4 языковых модели на 7/13/30 и 65 млрд параметров (для сравнения, GPT-3, на которой основана ChatGPT, имеет в некоторых своих конфигурациях и 175 млрд параметров). Построить из этого своего чат-бота на коленке своего макбука вряд ли получится, потому что модели с таким количеством параметров сильно требовательны к оперативной памяти и памяти на видеокарте и, скажем, найти 80Gb на видюхе у вас вряд ли получится, если конечно под рукой нет серверного кластера для машинного обучения. Но зато другие компании могут ознакомится с тем, что же там Цукербук наобучал. Самое смешное - эти модели компания предоставляет бесплатно университетам и колледжам и у модели есть пометка, откуда она была украдена, так что кого-то точно скоро уволят. @zavtracast