Serge - LLaMa made easy
Веб-интерфейс для общения с LLaMa через llama.cpp и alpaca.
▫️Полностью докеризованный, с простым в использовании API.
▫️Интерфейс SvelteKit
▫️MongoDB для хранения истории и параметров чата
В настоящее время поддерживаются только модели 7B, 13B и 30B alpaca. Есть скрипт загрузки для их загрузки внутри контейнера.https://github.com/nsarrazin/serge