Atencja jako wejście poza kontekstem pochodzącym z kodera przyjmuje także kontekst z dekodera i na ich podstawie uczy się wybierać najbardziej znaczący w danym momencie zakodowany fragment sekwencji wejściowej.