Après avoir occupé plusieurs postes au sein du parti, il a été nommé ministre de l'intérieur par le chancelier Willy Brandt, dont le Parti social-démocrate était en coalition avec le FDP, en 1969 ; en 1974, il est devenu ministre des Affaires étrangères et vice-chancelier.
De 1969 à 1974, il a été ministre fédéral de l'Intérieur sous la direction du chancelier Willy Brandt.