Budova vznikla přestavbou někdejšího Institutu Commonwealthu, který od 60. let vystavoval kulturu někdejších britských kolonií. Architekt John Pawson, mimo jiné autor Klášterního kostela trapistů v Novém Dvoře, z původní budovy zanechal jen střechu a několik symbolických předmětů. Vnitřek Muzea designu je jinak zbrusu nový.
