☝🏻LLaMA 2 (70B) теперь может попробовать каждый,благодаря децентрализованной сети Petals
Petals — это инструмент, который позволяет пользователям совместно запускать большие языковые модели благодаря объединению мощностей их компьютеров в децентрализованную сеть.
Авторы проекта 2 дня назад добавили поддержку LLaMA 2 — одна из самых сильных моделей с открытым исходным кодом, доступных на сегодняшний день.
В публичном рое размещены самые большие варианты этих моделей, LLaMA-65B и LLaMA 2 (70B и 70B-Chat), обеспечивающие вывод со скоростью до 5-6 токенов/секунду
Любой может попробовать их в виде веб-приложения чат-бота.