⚙️ Ученые из Стэнфордского университета «скопировали» ИИ-алгоритм из ChatGPT за менее чем $600.
Исследователи использовали разработанную Meta языковую модель LLaMA с 7 млрд параметров. Они написали 175 пар «запрос—ответ» и попросили GPT-3.5 сгенерировать большее количество аналогичных данных. Получившиеся около 52 000 примеров разговоров ученые использовали для посттренировки LLaMA.
💵 На создание датасета специалисты потратили менее $500.
Затем эксперты использовали данные для точной настройки модели от Meta. Процесс занял около трех часов. Для этого они использовали облачную инфраструктуру на базе чипов A100, что стоило еще $100.
🦙 Полученный алгоритм ученые назвали Alpaca. Они сравнили его с ChatGPT в задачах написания электронных писем, создания контента для соцсетей и повышения производительности. Стэнфордская модель справилась с 90 тестами, а GPT-3.5 — с 89.
#исследование #чатботы