Le 30 novembre 1802, le chef de bataillon Joseph-Léopold-Sigisbert Hugo écrit à Madame Léopold Hugo, son épouse, qui vient de partir pour Paris. En garnison à Marseille, il prend soin de ses trois garçons. Abandonné par sa mère, le petit Victor souffre en silence. Rien ne peut le distraire de la vision de cette chaise vide.
Je n’ai pu retenir une larme quand Victor, apporté par Claudine a fixé les yeux sur ta place et a ensuite promené ses regards avec inquiétude sur tous les coins de la chambre. Ce cher enfant n’a cessé de regarder partout et n’a été distrait de ses idées ni par les agaceries de ses frères, ni par mes caresses.
Le 13 mai 1803, Hugo est stationné en Corse avec son régiment (on les appelait alors des demi-brigades). Seul avec ses trois enfants et la fidèle Claudine, il se préoccupe de la santé de Victor. Moderne, il croit à la nécessité de le faire vacciner contre la variole. Ses frères, Abel et Eugène, avaient déjà été inoculés. Il se figure que Sophie va bientôt le rejoindre. Il lui écrit.
J’ai donné à Victor une promeneuse. Ce pauvre enfant ne pouvait la sentir dans les premiers jours ; il était triste et on aurait dit qu’il se plaignait d’être envoyé avec une femme qui ne parlait pas notre langue. Il s’y habitue. Il m’a beaucoup inquiété pour ses dents. Rapporte au moins du vaccin.
Deux mois plus tard Léopold est à l’île d’Elbe, que la «paix d’Amiens», conclue avec les Anglais en 1802, a attribuée à la France. Victor est un enfant sage, actif, pas très gai. Le 18 juillet 1803, le chef de bataillon Hugo écrit à son épouse, toujours à Paris :
Victor est bien portant, mais faible : la dentition est pour lui une opération très difficile, et je crains qu’il n’ait des vers. J’ai demandé de l ’herbe grecque dont les Corses font le plus grand cas et en ce moment il doit m’en être arrivé de Bastia. Il a encore quelques croûtes à la tête, mais elles sont peu de chose. Du reste, il dit le nom de ses frères, beaucoup d’autres petits mots, le sien entre autres. Il fait quelques pas seul, mais avec trop de précipitation pour les continuer plus longtemps. Toujours content, je l ’entends rarement crier : c’est le meilleur enfant possible. Ses frères l ’aiment beaucoup.
Lorsque la mère, qui est venue chercher ses enfants, les a auprès d’elle, à Paris, le petit Victor n’est toujours pas heureux. Pierre Foucher évoque, beaucoup plus tard ses visites à madame Hugo, rue de Clichy. Sa fille, Adèle, devenue madame Victor Hugo, rapporte ses paroles :
Le petit Victor était encore languissant. Mon père me disait : «Quand j’allais chez Mme Hugo je trouvais toujours Victor dans un coin, pleurnichant et bavant sur son tablier.»
Nous n’avons aucun document qui nous permette de compléter cet ensemble par ce qui en serait la pièce maîtresse : quelques lignes de la mère sur son fils.