Группа ученых из нескольких университетов и компаний разработали новый движок для использования крупных языковых моделей на компьютерах с ограниченными ресурсами. Они опубликовали исходный код движка, который позволяет использовать функциональность, подобную ChatGPT и Copilot, запуская одну из предварительно натренированных моделей серии OPT (до 66 миллиардов параметров в открытом доступе и до 175 по запросу) на оборудовании со значительно меньшими характеристиками, чем требовалось ранее. Так, на компьютере с игровой видеокартой NVIDIA RTX3090 или RTX4090, имеющих 24GB видеопамяти, можно запустить модель OPT-30B с 30 миллиардами параметров (раньше требовалось 64GB видеопамяти), а на компьютере с доступной большинству RTX3060 в версии на 12GB можно запустить модель OPT-13B, которой ранее требовалось 32GB VRAM.