En 1852, les Petites Sœurs s’installent provisoirement dans un local situé dans le quartier de la Corderie. En 1857, les bâtiments de la maison de retraite sont édifiés dans le quartier des Chartreux.

Afin de répondre aux exigences actuelles en matière d’hébergement, de confort et de fonctionnalité, des travaux ont été réalisés entre 1985 et 1992.