Очередная публикация "про которую все говорят" - с анализом существующих LLM-моделей, места ChatGPT и т.п. от исследователей из Amazon, Texas A&M University и Rice University (USA).
Важное дополнение от Yann LeCun из Meta к чтению изображения с деревом моделей:
— "encoder only" = has an encoder and a decoder (just not an auto-regressive decoder).
— "encoder-decoder" = "encoder with auto-regressive decoder"
— "decoder only" = "auto-regressive encoder-decoder"
Вторая иллюстрация — диаграмма принятия решения, когда нужна LLM, а когда что-то другое.
https://arxiv.org/pdf/2304.13712.pdf
