Dzięki zastosowaniu atencji, sieć ma w każdym kroku czasowym dostęp do całości poprzedniego kroku czasowego a nie tylko do tego samego kroku czasowego (jak w przypadku sieci rekurencyjnych). Dodatkowo sieć sama uczy się w trakcie treningu na które kroki czasowe z poprzedniej warstwy powinna zwracać uwagę.