Rodák z Kodaně, který kariéru začínal jako profesionální tanečník, u filmu debutoval v roce 1996 rolí narkomana v dánském thrilleru Dealer. Po řadě vedlejších rolí se například objevil v oceňovaném thrilleru Bleeder z roku 1999. Hvězdu, zatím skandinávskou, z něj udělala účast v dánském televizním seriálu Rejseholdet (2000 až 2004), kde ztvárnil hlavní mužskou roli. Cenami ověnčený seriál mj. získal i americkou cenu Emmy.
V mezinárodním měřítku se Mads Mikkelsen proslavil díky dramatu Otevřená srdce z roku 2002. Začal dostávat nabídky ze zahraničí, v roce 2004 se například objevil ve filmu Král Artuš, kde si zahrál po boku Clivea Owena a Keiry Knightleyové. O dva roky později hrál v bondovce Casino Royal, kde představoval padoucha Le Chiffrea.
V témže roce si zahrál hlavní roli v dánském dramatu Setkání v Praze, který se mimo jiné točil právě v české metropoli a kde se objevila i řada českých herců. Poté hrál například ve filmech Tři mušketýři (2011), Královská aféra (2012) a Hon (2012), za který dostal na festivalu v Cannes cenu pro nejlepšího herce. Tu získal dvakrát i při vyhlašování Evropských filmových cen (Bastard, Chlast). Kromě filmu se věnuje i divadlu.