井上の後妻となった富士子は、井上の入院中に「面会謝絶」の医師の指示を頑強に守り通そうとして、遠方から駆けつけた親戚の阿部信行、山梨勝之進大将などの大事な見舞客を追い返したり、井上との結婚後に、井上の亡妻の喜久子の親戚筋である阿部家、稲田正純陸軍中将の家、大石堅志郎海軍大佐の家らに、「今後、井上宅への来訪は見合わせて頂きたい」という「縁切り状」を井上の名で送ったり、井上の親戚、旧部下、英語塾の教え子などの「井上と縁のある女性」が井上宅を訪れた時に井上に無断で門前払いしたり、彼女たちから井上に届いた手紙を、井上に見せずに捨ててしまうなど、批判されても仕方ない所があった。井上の親族の中でも、戦後の井上と最も親しかった伊藤由里子は「あの方、要するに海軍大将夫人におなりになりたかったんじゃないの」と、富士子へのきつい批判を洩らした。