W kwestii przetwarzania danych sekwencyjnych nie można pominąć architektury Transformer bazującej na mechanizmie atencji, a która w ostatnim czasie pozwoliła na znaczący rozwój wszystkich dziedzin związanych z sieciami neuronowymi, a w szczególności na wyraźny rozwój technik przetwarzania języka naturalnego.