Ce Bâtiment est construit en 1738 par les sœurs Ursulines, et sert à la fois d’école, d’orphelinat et d’asile. En 1816, il devient t la «Maison Royale d’Éducation des Jeunes Filles» prise en charge par des laïcs, puis par les sœurs de Saint-Joseph de Cluny ; ces dernières créent un pensionnat royal à partir de 1824 l. En 1883 le conseil général inaugure un nouveau pensionnat colonial destiné à l’enseignement laïque des jeunes filles qui s’y installe et contraint les sœurs à déménager.