K pozůstatkům původního skleníku od projektanta Kiliána Ignáce Dientzenhofera nechal hradní architekt Pavel Janák po druhé světové válce přistavět dvě symetrická křídla. Vznikla rezidence, kterou si ovšem Edvard Beneš neužil, neboť v roce 1948 abdikoval a ve stejném roce i zemřel.
Podívejte se také, jak vypadal byt T. G. Masaryka:
Prvním nájemcem se stal až prezident Klement Gottwald. Dalšími nájemníky pak byli i další prezidenti komunistické éry: Antonín Zápotocký, Antonín Novotný, Ludvík Svoboda a Gustáv Husák. V této době ve vile vzniklo také malé kino a sauna a bazén.
V 90. letech nechal prezident Václav Havel Královskou zahradu otevřít veřejnosti. Rezidence v té době sloužila jako zázemí pro tiskové konference a jednání, v horním patře byly byty pro významné návštěvy.
Objekt byl nedávno rekonstruován dle návrhu architekta Tomáše Šantavého. Všechny kvalitní detaily z původní stavby byly zachovány. Opravena byla i unikátní barokní freska v rizalitu.
