Dans la France napoléonienne, la plupart des gens ont des racines, des grands-parents, des cousins, un point d’ancrage. Pour cet enfant-là, la vie a été errante, et sans son frère Eugène, elle eût été solitaire. À partir de sa naissance, ses parents n’ont vécu ensemble, que pendant deux brèves périodes : avant le départ de Marseille, en 1802 ; quelques jours, entre la fin novembre et la fin décembre 1807, dans la province de Naples. À Madrid, entre juin 1811 et le début mars 1812, ils ne cohabitent pas et les deux plus jeunes enfants, dans leur pension, voient peu leur père, devenu un personnage important dans l’armée du roi Joseph. Il vit avec une femme plus jeune qu’il voudrait faire passer pour son épouse. Il sort parfois ses enfants, les confie occasionnellement à sa maîtresse, mais ne leur rend presque jamais visite. La mère vient tous les jours, mais n’est pas autorisée à les sortir. Victor a tout de même gardé quelques bons souvenirs de cette époque où il jouait à la balle avec de petits Espagnols.
Entre les deux voyages, la famille divisée a habité Paris, rue Saint-Jacques, dans un appartement minuscule, puis aux Feuillantines, dont Victor Hugo a, dans son œuvre, fait un lieu de plus en plus fantasmatique. Au retour d’Espagne, sans Abel qui est resté à Madrid avec son père, ils vivent de nouveau aux Feuillantines, puis, au tout début de 1814, rue du Cherche-Midi (une section de la rue qui s’appelle alors rue des Vieilles Thuilleries).
C’est la fin du vagabondage. Sophie connaît peu de monde et ne voit guère que les Foucher. Après le retour d’Espagne, à partir du moment où les deux enfants sont emprisonnés à la Pension Cordier sur ordre du père, en février 1815, ils ne sortent plus qu’en groupe. Victor Hugo se promena librement dans les rues de Paris, pour la première fois, le 8 septembre 1818. Il avait seize ans.
À partir de cette date, la famille changea plusieurs fois d’adresse. Après la pension Cordier, il habita avec sa mère rue des Petits-Augustins puis rue de Mézières et, après la mort de Sophie, rue du Dragon. Après son mariage le 12 octobre 1822, Victor vécut chez ses beaux-parents, rue du Cherche-Midi, puis rue de Vaugirard, rue Notre-Dame-des-Champs, rue Jean-Goujon, place Royale, rue de La-Tour-d’Auvergne. Il était devenu parisien et appartenait à la famille des voyageurs immobiles que sont les piétons de Paris.