En 1977, Rau devient président du SPD de Rhénanie du Nord-Westphalie et, en 1978, ministre président de l'État, il reste jusqu'en 1998, avec quatre élections réussies pour le SPD, qui devient chaque fois le parti le plus fort du Landtag et obtient une majorité absolue trois fois, en 1980, 1985, 1990 et finalement en 1995.
En 1978, Rau devient ministre de la Rhénanie du Nord-Westphalie, où il demeure jusqu'en 1998, remportant quatre élections au SPD, qui devient chaque fois le plus grand parti du Landtag et obtient une majorité absolue à trois reprises, en 1980, 1985, 1990 et finalement en 1995.