Международная команда из различных университетов (UC Berkeley, CMU, Stanford, UC San Diego и MBZUAI) обучила новую LLMку Vicuna (какой-то фетиш на животных🤷‍♂️) на основе LLaMA и Alpaca, используя открытую базу данных диалогов с GPT-4 (ShareGPT.com) и с использованием GPT-4 в качестве рефери, чтобы проверить результаты тестов, которые показали, что Vicuna превосходит своих предшественников в 90%⚡️случаях и даже иногда сопоставима с GPT-4, тогда как обучение модели на 13 млрд параметров обошлось в 300$🤯 Рецепт обучения Vicuna построен на основе Стэнфордской модели Alpaca с несколькими улучшениями. Авторы исследования предлагают новый стандарт оценки AI-чатботов, основанный на GPT-4, включающий восемь категорий вопросов для анализа различных аспектов производительности чатбота. Они использовали технику prompt engineering для генерации сложных вопросов, на которые базовые модели чатботов не могут эффективно отвечать. (модельки обучают сами себя🤯🤖) В результате сравнения Vicuna с другими моделями, такими как LLaMA, Alpaca, ChatGPT и Bard, было обнаружено, что GPT-4 предпочитает Vicuna в более чем 90% случаев. Когда речь заходила о сравнении с частными моделями, такими как ChatGPT и Bard, Vicuna продемонстрировал конкурентоспособную производительность. В 45% случаев ответ Vicuna оценивался GPT-4 как лучший или равный ответу ChatGPT (учитывая насколько мала эта модель, это очень впечатляет⚡️) Ограничения Разработчики заметили, что, как и другие большие языковые модели, Vicuna имеет определенные ограничения. Например, она не справляется с задачами, связанными с рассуждениями или математикой, и может иметь слабые места в точном определении себя или обеспечении фактической точности своих ответов. Кроме того, модель не достаточно оптимизирована для обеспечения безопасности и снижения потенциальной токсичности или предубеждений. Для решения проблем безопасности используется OpenAI moderation API, чтобы фильтровать неподходящие запросы пользователей. Поиграться онлайн можно тут Гитхаб Таким темпом к концу года у нас будут аналоги GPT-4, которые будут работать локально на домашних лэптопах🤓