GraphTransformer: расширение языковой модели для графов
Зачем это нужно
Оригинальный трансформер разрабатывали для обработки естественного языка. Стандартная модель работает с полносвязными графами, которые представляют связи между словами (токенами) в последовательности. Такая архитектура не масштабируется на задачи обработки графов и плохо справляется с задачами, где важна топология графа. Исследователи предлагают расширение традиционного трансформера с четырьмя отличительными характеристиками.