Ух, ребята подняли LLaMA 7B model на 4GB RAM Raspberry Pi 4.
Похоже скоро любая микроволновка или пылесос смогут бесконечно с вами разговаривать за жизнь.
Кроме шуток - это реально круто, автономные девайсы с мета-chatGPT на борту без подключения к интернету.
Ну и похоже большая языковая модель LLaMA от Меты, скоро будет играть роль Stable Diffusion в области генерации диалогов. Ее выпустили на свободу, а слово, как известно, не воробей, его уже не поймаешь (хотя тут напрашивается шутка про бота Google Sparrow).
Ждем Automatic1111 для LLaMA с возможность дообучения и запуска на ноутбуках.
twitter.com/miolini…57790209
I've sucefully runned LLaMA 7B model on my 4GB RAM Raspberry Pi 4. It's super slow about 10sec/token. But it looks we can run powerful cognitive pipelines on a cheap hardware.