De plan rectangulaire, la maison est construite en moellon calcaire enduit. La plupart des chambranles des baies et les chaînes sont en pierre de taille. Elle est couverte d'un toit à longs pans brisés et croupes. Elle comprend un rez-de-chaussée, un étage carré et un étage de comble. Sa partie nord repose sur une cave ancienne. En façade, les trois travées centrales de l'étage sont séparées des travées latérales par des chaînes et surmontées d'une lucarne attique. Un balcon en pierre doté d'un garde-corps en fonte règne devant les trois baies centrales. Un garde-corps en fer forgé est compris dans l'embrasure des baies latérales à l'étage. La disposition des baies au rez-de-chaussée n'est pas aussi régulière qu'à l'étage, ce qui s'explique sans doute par la réutilisation d'un édifice ancien. Les trois encadrements à feuillures sont plus anciens que les autres. La porte a été décalée tardivement d'une travée vers le centre, et l'ancienne porte au nord a été transformée en fenêtre. L'intérieur a subi d'importantes transformations, mais certains éléments de la distribution ancienne sont connus. Le rez-de-chaussée, qui est divisé par des murs de refend transversaux, comportait une cuisine (au nord) et une salle à manger (au sud). L'étage abritait des chambres, que l'on peut supposer disposées de part et d'autre d'un couloir central longitudinal. L'accès à l'étage se faisait à l'origine uniquement par un escalier extérieur. Cet escalier métallique droit est conservé. Cette distribution, qui permet de créer des logements indépendants, est caractéristique des pensions de familles. Un escalier dans-œuvre a été créé plus tardivement. L'architecte de la Villa des Charmilles semble avoir délibérément fait référence à l'architecture classique à la française (toit brisé en ardoise percé de lucarnes, bossage en table des chaînes d'angles et des jambes, corniches des linteaux des baies de l'étage et tables des pilastres de la lucarne attique) ce qui est finalement assez rare, et jamais aussi évident qu'ici, dans la villégiature de Saint-Honoré-les-Bains. En ce sens, la Villa des Charmilles peut être comparée à l'hôtel Le Morvan et l'hôtel Bellevue. Cette référence se retrouve de manière moins nette à la même époque à la Villa des Pins. Un soin particulier a été accordé au couronnement sculpté des lucarnes (volutes et boules d'amortissement sur dés). Les cheminées construites à partir de briques rouges et noires sont les seules concessions à la mode locale.