Warstwa ta może być trenowana od wartości losowych razem z całą siecią, jednak możliwa jest jej inicjalizacja gotowymi wagami, które powstają w trakcie nienadzorowanego treningu na dużych korpusach tekstowych.