Le bâtiment a la joliesse des demeures aristocratiques de l’Ancien Régime dont il est issu. Pavillon de billard, gracieuse orangerie, salles de réception garnies d’argenteries et de tout le faste au goût du temps, on y reçoit les grands noms , déjà, et l’hôte est le duc de Lauzun, le Don Juan de Paris. Revendu plusieurs fois, c’est la princesse de Lamballe, jeune veuve et grande amie de Marie-Antoinette qui va, ensuite, venir occuper l’élégant palais des coteaux de Passy. Elle donnera son nom au lieu.
Après la Révolution les propriétaires se succèdent. L’ancien hôtel particulier, où l’on trouve des bains alimentés par une eau ferrugineuse, un magnifique jardin qui descend en terrasse jusqu’à la Seine, le charme et l’air pur de la campagne au porte de Paris, va attirer le regard du docteur Blanche alors à la recherche d’un lieu pour abriter son établissement de soins et de repos.
« Je suis à Passy, chez des amis, dans une maison superbe, et dans de beaux jardins. Ne te tourmente pas au sujet de cette campagne où il faut que je passe quelques jours. C’est un simple complément de santé qu’il faut que j’y trouve. »
Gérard de Nerval, lettre à son père, 1 septembre 1953.
Cet asile psychiatrique de luxe va recevoir de prestigieux patients : Gérard de Nerval, Marie d’Agoult, Théo Van Gogh, Charles Gounod, Guy de Maupassant. On s’y presse comme dans le meilleur des salons mondains.
Le 20èmesiècle arrive, l’asile ferme et le terrain est revendu en lots. L’hôtel, lui, survit jusqu’à la venue d’un riche couple franco-américain : les Limur. Las, décision est prise d’abattre le bâtiment et de le reconstruire, presque à l’identique.
« Les restaurations commencées, des sondages furent tentés dans une muraille pour ramener au jour ce que des siècles avaient recouvert. De vieilles solives peintes apparurent, mais un fatal et bienheureux coup de pioche prouva par une pluie de plâtras que ce corps vénérable demandait grâce, qu’il s’effondrerait un jour ou l’autre sur la tête de ses nouveaux occupants. L’ancienne « folie » en moellons fut abattue. Le nouveau « château » a été légèrement reculé, il est en pierre de taille, sans ses jolis ornements ; il est solide, mais coincé entre le mur de soutènement de la maison de Balzac et une voie enlaidie d’immeubles vulgaires.»
Jacques-Émile Blanche, La Pêche aux souvenirs, 1949.
Ethel de Limur ne ménage pas sa peine pour garnir le nouveau bâtiment de meubles et boiseries authentiquement 18ème, afin de créer l’effet d’illusion. L’hôtel de Lamballe connaitra encore les affres de l’histoire, devenant pour un temps le quartier général d’Eisenhower à la fin de la Seconde Guerre mondiale. Enfin, c’est en 1954 que son dernier propriétaire en date en prend possession, il s’agit de la Turquie, qui en fait le siège de son ambassade à Paris.