En 1814, pendant la guerre de 1812, l'armée britannique a incendié le manoir dans le Burning of Washington, détruisant l'intérieur et mettant en échec une grande partie de l'extérieur.
Huit ans plus tard, le président William Howard Taft a agrandi l'aile ouest et créé le premier bureau ovale.