Atencja została zaproponowana w artykule, jako dodatkowy mechanizm stosowany w modelach typu koder-dekoder, umożliwiający automatyczne wyszukiwanie części reprezentacji sekwencji wejściowej, która jest najbardziej istotna w danym kroku dekodowania.