Ученые из Северо-Восточного Университета в Бостоне написали еще в октябре научную статью-черновик о том, как в современных нейросетях-трасформерах вроде ChatGPT можно подменять обученные данные на лету. Согласно черновику, который пока ещё не прошёл проверку, можно подменять тысячи воспоминаний нейросети одновременно, таким образом экономя на машинном обучении с подкреплением и обновляя информацию. Почему это важно? Современные нейросети обучаются на огромном массиве данных и эта информация зафиксированы на определённую дату. Скажем, данные ChatGPT 3.5 были зафиксированы на начало 2021 года, обо всём, что случилось позже, нейросеть просто не знает, что влияет на некоторые её ответы. Эту проблему решают или дообучением нейросети поменьше, с которой чатбот советуется (как это сделано в Bing) или постоянным обновлением данных из интернета (что накладно и в некоторых случаях просто невыполнимо), которые ещё надо фильтровать, часто вручную. Пока не ясно, может ли этот метод помочь на больших нейросетях (к примеру, LLaMA обучалась на 65 миллиардах параметров, а в ChatGPT счет шёл на сотни миллиардов), но В ТЕОРИИ, это сильно облегчит жизнь создателям ИИ, делая ответы нейросетей более актуальными. @zavtracast