Invalidovna byla postavena mezi lety 1731-1737. Na základní kámen tehdy poklepal i sám císař a český král Karel VI. Budovu navrhl vídeňský architekt Johann Fischer z Erlachu, definitivní plány však vypracoval Kilián Ignác Dientzenhofer. Realizována byla ale jen devítina původního záměru. Budova sloužila vojákům zraněným ve válce, a to ještě krátce po skončení první světové války. V průběhu let zde našel místo také vojenský archiv a archiv Národního technického muzea.
Venkovní prostor je tvořen nádvořím s parkovou úpravou a dominantní klasicistní kašnou. Interiér je zajímavý svým dispozičním systémem. Z chodeb se totiž vstupovalo do prostorů pro mužstvo a po zatočených schodech se dalo vystoupit do patra pro důstojníky, což symbolizovalo vojenskou hierarchii. Součástí vnitřních prostor je i kaple. V minulosti interiér Invalidovny sloužil i filmařům, např. při natáčení Formanova Amadea.
V roce 2002 byla Invalidovna během povodní zatopena do výšky několika metrů a archívy poškozeny. Čtyřkřídlá stavba je dnes prázdná, převzal ji Národní památkový ústav. Kompletní obnova za zhruba 1,95 miliardy korun by měla být dokončena v roce 2027.