Пару недель назад прошла почти незаметно новость о том, что в движке Chrome по умолчанию будет включена ранее экспериментальная поддержка WebGPU (это такой API, выставляющий частичный доступ к операциям на видеокарте в веб-контекст в браузере). Во-первых, это было важно для графики и особенно рендеринга 3D/VR-сцен. А во-вторых, позволяет оптимизировать математические операции широкого спектра на клиенте, например, для ИИ. Ну и вот: получите, распишитесь: WebGPT - реализация трансформерной модели ИИ на JavaScript. Автор пишет, что хотя это все еще "просто" proof-of-concept, он уже тянет модели с 500 млн параметров. На маковском процессоре M1 (2020) в Chrome она способна отрабатывать версию GPT2 (124 млн параметров) со скоростью 130 мс на токен. По оценкам разработчика, при дальнейшей оптимизации можно получить прирост скорости в 5 раз. Вероятно, некоторые сайты в будущем будут тяжелыми не только из-за картинок и видосиков, но и из-за подключаемых ИИ-моделек. https://github.com/0hq/WebGPT