Обложка канала

Neural Shit

35268 @NeuralShit

Проклятые нейронные сети

Neural Shit

3 года назад
Открыть в
Ух, ребята подняли LLaMA 7B model на 4GB RAM Raspberry Pi 4. Похоже скоро любая микроволновка или пылесос смогут бесконечно с вами разговаривать за жизнь. Кроме шуток - это реально круто, автономные девайсы с мета-chatGPT на борту без подключения к интернету. Ну и похоже большая языковая модель LLaMA от Меты, скоро будет играть роль Stable Diffusion в области генерации диалогов. Ее выпустили на свободу, а слово, как известно, не воробей, его уже не поймаешь (хотя тут напрашивается шутка про бота Google Sparrow). Ждем Automatic1111 для LLaMA с возможность дообучения и запуска на ноутбуках. twitter.com/miolini…57790209

I've sucefully runned LLaMA 7B model on my 4GB RAM Raspberry Pi 4. It's super slow about 10sec/token. But it looks we can run powerful cognitive pipelines on a cheap hardware.

Twitter