À plusieurs reprises, il se retire des spectacles publics - de 1936 à 1938, de 1953 à 1965, de 1969 à 1974 et de 1983 à 1985.
Horowitz a cessé de jouer quatre fois - LRB- de 1936 à 1938, de 1953 à 1965, de 1969 à 1974, et de 1983 à 1985 -RRB-, car il ne savait pas qu'il était assez bon, même quand il était populaire.