En 1941, ils adoptèrent un fils, James Cagney, fils, puis une fille, Cathleen '' Casey '' Cagney. Cagney était un homme très privé et, bien qu'il ait été plus que disposé à donner des photographies de la presse au besoin, il passait généralement son temps privé hors de la vue du public.
Comme James Stewart, Cagney est devenu si familier au public qu'ils l'appelaient habituellement "Jimmy" 'Cagney.