Il est neveu du général Letellier-Valazé, mort en 1876, et par conséquent arrière-petit-fils du conventionnel Dufriche-Valazé, girondin, qui se frappa mortellement d'un coup de stylet en pleine audience du tribunal révolutionnaire, après la lecture de la sentence de mort rendue par ce tribunal contre ses amis et lui-même (1793). Entré à Saint-Cyr en 1853, M. Ballue en sortit comme sous-lieutenant au 46e de ligne, juste assez tôt pour prendre part à la campagne de Crimée. Décoré de la Légion d'honneur le 11 janvier 1855, il fut attaché au maréchal Randon en qualité d'officier d'ordonnance, et promu lieutenant. Promu capitaine en 1858, M. Ballue prenait sa retraite en 1868. Après nos premiers désastres, suivant de près la déclaration de guerre à la Prusse, il reprit du service et fut placé à la tête d'un bataillon du 40e zouaves ; promu officier de la Légion d'honneur pour sa conduite sur le champ de bataille, il refusa cette récompense, trouvant sans doute que les croix étaient un peu prodiguées. Redevenu journaliste après la signature de la paix, et attaché successivement à la rédaction du Progrès de Lyon, de la France républicaine et du Républicain du Rhône, il fut frappé de deux condamnations à la suite desquelles la France républicaine était supprimée et lui-même, qui avait refusé la rosette d'officier. 