Ten sposób sformułowania zadania pozwolił na wykorzystanie kontekstu zarówno z lewej, jak i z prawej strony zamaskowanego słowa, co umożliwia lepsze wykorzystanie informacji niż w przypadku standardowego problemu modelowania języka, które wykonywane jest jednokierunkowo i polega na przewidywaniu kolejnych tokenów na podstawie poprzednich.