しかし、当時は祖父について家業の剣術指南役を継ぐための剣術修行と藩務に忙しく、絵画修業は休みがちになってしまったため、探玉斎の門を退き以後独学で画を学ぶ。弘化4年(1847年)20歳の時に描いた廣尾稲荷神社拝殿天井画「墨龍図」は、狩野派の筆法で力強い龍を描いており、すでに日本画家として充分な力量を備えていた事が窺える。この頃になると、由一が絵の道に進むことを許さなかった祖父も、由一が生来病弱で剣術稽古も休みがちになっていったことを見て、ある時突然剣術の後継者は門人から選ぶので、武術を捨て画学の道に進むことを許される。