Warstwa rekurencyjna przedstawiona na rysunku przekazuje stan ukryty w kierunku rosnących momentów czasowych, jednak często nic nie stoi na przeszkodzie, żeby stan ukryty był przekazywany także w drugim kierunku.