Il est né le 26 février 1802, troisième fils d’un officier de l’armée napoléonienne d’origine lorraine, et d’une mère d’origine bretonne. L’un et l’autre sont issus de ce qu’on appellerait aujourd’hui les classes moyennes. L’enfant est fragile, maladif. Sevré à l’âge de neuf mois, il a été laissé par sa mère à la garde de son père, en garnison à Marseille. Puis, ce fut, en 1803, la Corse, et enfin l’île d’Elbe. Quand la mère vint y rejoindre son mari, en décembre 1803, ce fut pour reprendre ses trois garçons. Sophie-Françoise Trébuchet, femme Hugo, repartit en plein hiver et retraversa les Alpes avec eux. Victor, qui avait vécu un an sans sa mère passa son enfance et son adolescence sans son père.
Les parents croyaient l’un et l’autre que, dans l’éducation des enfants, l’instruction était la priorité absolue. Ils n’en avaient sans doute pas la même conception, mais le commandant Hugo, en qui ses supérieurs voyaient un homme instruit, était prêt à faire les sacrifices nécessaires pour donner à ses fils la meilleure éducation possible. Il les imaginait polytechniciens. Sophie Hugo était plus libérale, et sans doute moins attentive.
Après avoir fait campagne en Italie, en 1805, Hugo fut recruté dans l’armée napolitaine. Joseph, le frère aîné de Napoléon, qui, avec Masséna, avait chassé les Bourbons de Naples, avait été récompensé par un trône. Hugo monta en grade. Il vivait avec une jeune femme rencontrée en Corse, Catherine Thomas. L’idée qu’il se faisait de ses relations futures avec sa femme légitime n’était pas très claire. Lorsqu’il reçut, à titre provisoire le gouvernement militaire de la province d’Avellino, il proposa, pour l’éducation future de ses fils, des arrangements, subordonnés à un pacte de réconciliation devoirs conjugaux compris. Sophie, qui ne paraissait pas disposée à accepter, arriva à Naples sans préavis, à l’automne de 1807. La tentative de rapprochement se termina par un échec : la preuve était faite qu’il y avait, entre les époux, incompatibilité physique. Femme et enfants repartirent pour la France, en janvier 1808. Un arrangement amiable stipulait que Hugo enverrait tout l’argent nécessaire, et que Sophie veillerait à l’éducation et à l’instruction de ses fils. Pour le rapprochement, on verrait plus tard. Par égard pour les enfants, on s’engageait de part et d’autre à sauver les apparences.
Rentrée à Paris en 1808, Sophie s’installa rue Saint- Jacques, près de l’église Saint-Jacques-du-Haut-Pas. Dans Les Misérables, Jean Valjean, devenu le respectable M. Fauchelevent, y accomplit ses devoirs religieux. À l’automne de la même année, on emménagea aux Feuillantines, dans les bâtiments d’un couvent désaffecté, avec un grand jardin. Les enfants allaient à l’école. Le roi Joseph avait dû céder à Murat le trône de Naples pour devenir roi d’Espagne. Hugo, qui avait été promu colonel, suivit son maître.
L’Espagne avait donné le vertige aux militaires français. Hugo songeait toujours à l’avenir, mais cette fois-ci (Catherine Thomas l’avait suivi dans ses déplacements) il voyait beaucoup plus loin. Il avait de gros revenus et comptait prendre sa retraite en France. Il envoyait donc à sa femme d’importantes sommes d’argent pour qu’elle les investît dans un grand domaine. Il avait aussi reçu de Joseph un titre nobiliaire espagnol. Léopold fut, pendant quelques mois, un homme heureux. Depuis le 20 août 1809, il était maréchal de camp, c’est-à-dire général de brigade. Faire venir la famille à Madrid n’avait plus beaucoup de sens.
Se sentant menacée dans sa position d’épouse légitime et craignant d’être lésée, Sophie partit pour Madrid avec ses trois fils, en mars 1811. Les «brigands» espagnols (on appelait ainsi les résistants) transformèrent le voyage en une aventure dangereuse. À l’arrivée les conflits conjugaux prirent une nouvelle ampleur. Malgré les pressions exercées par le roi Joseph, Léopold se contenta d’interrompre l’action en divorce qu’il avait entamée et refusa toute conciliation. Il mit Eugène et Victor, ses deux plus jeunes enfants, en pension chez des religieux espagnols et fit admettre Abel parmi les pages du roi. La guerre était aux portes et la famine dans les rues. Victor Hugo apprit l’espagnol. Après quelques mois, il fallut rentrer. Affectivement, le bilan était désastreux. Le père était devenu aux yeux des enfants un mauvais père et la mère une victime. Sophie, accompagnée d’Eugène et de Victor se retrouva sur le territoire français, à Bayonne, le 3 avril 1812.
En 1814, la générale Hugo prit, contre son mari plutôt que par conviction, le parti des Bourbons. Elle n’eut aucune peine à faire de ses enfants de parfaits petits royalistes. Léopold, qui n’avait pas réussi à sauver grand chose dans la débâcle de 1813, mit à nouveau ses deux jeunes fils en pension. Son choix se porta sur la pension Cordier, tenue, dans le quartier de Saint-Germain-des-Prés, par un prêtre défroqué, un franc-maçon qui avait connu Voltaire et qui allait bientôt passer la main à son adjoint, Decotte. Il n’y avait plus, entre les époux, de réconciliation possible. Hugo vivait à Blois avec Catherine Thomas, qui passait pour sa femme. Il ne disposait plus que de revenus modestes. Les enfants suivaient enfin une scolarité convenable. Pensionnaires chez Cordier, ils allaient, comme externes, suivre des cours à Louis-le-Grand.