Jedná se o kulturní památku, která léta chátrá. Dům byl postaven v Teisingerově zahradě v první polovině 19. století architektem Josefem Krannerem. Je označován jako neoklasicistní obytný dům. Ještě jako rozestavěný ho od podnikatele Alberta Kleina von Wiesenberga v roce 1847 koupil šlechtic Franz Desfours-Walderode, kterému sloužil jako sídlo a dodnes nese jeho jméno, neboť sám šlechtic se podílel na jeho projektu. Rodina tady ale dlouho nepobyla. Manželka po smrti hraběte palác prodala.
V době vzniku byla pro smích. Dnes stavbu v centru Prahy obdivuje celý svět:
Neblahý osud čekal palác v 80. letech minulého století, kdy bylo zbořeno západní křídlo paláce kvůli výstavbě tiskárny Rudého práva, které zde léta sídlilo. Od 90. let 20. století je objekt prázdný a v zanedbaném stavu. V roce 1995 byl palác převeden do vlastnictví hlavního města Prahy.
Dům vyniká zejména výzdobou v interiéru, na které se podíleli malíř Karel Nacovský a sochař a štukatér Ferdinand Pischelt. Impozantní je také schodiště s mozaikovou podlahou.
Nově bude o objekt pečovat Muzeum hl. m. Prahy. To o budovu usiluje už 11 let. Plány počítají s expozicemi 19. a 20. století, ale také kavárnou, obchody a dalším potřebným zázemím. Pokud vše půjde podle plánu, za sedm let se do paláce bude stěhovat celé sídlo Muzea.
