En 1814, pendant la guerre de 1812, l'armée britannique a incendié le manoir dans le Burning of Washington, détruisant l'intérieur et mettant en échec une grande partie de l'extérieur.
En raison de la foule au sein même du manoir exécutif, le président Theodore Roosevelt a fait déménager tous les bureaux de travail à la nouvelle aile ouest en 1901.