Atencja została zaproponowana w literaturze, jako dodatkowy mechanizm w modelach typu koder-dekoder, umożliwiający automatyczne wyszukiwanie części reprezentacji sekwencji wejściowej, która jest najbardziej istotna w danym kroku dekodowania.