Margolis se narodil roku 1939 do židovské rodiny ve Filadelfii. Po krátkém univerzitním studiu odešel do New Yorku a dal se na herectví. Během padesátileté kariéry dostával zejména vedlejší role.
Proslavil se jako brutální, avšak loajální drogový boss odkázaný na invalidní vozík Hector Salamanca alias Tio v seriálu Perníkový táta. Poprvé se objevil ve druhé epizodě druhé řady z roku 2009. Za ztělesnění muže, jenž může komunikovat jen posunky a neustále si zvoní o pomoc, byl Margolis nominován na cenu Emmy. Fanoušci jeho postavě dokonce založili samostatný web.
Hectora předtím, než jej postihla mrtvice, znovu ztvárnil ve Volejte Saulovi, které v šesti řadách předjímalo a rozvíjelo osudy protagonistů téhož fiktivního světa.
Margolis rovněž účinkoval ve většině snímků režiséra Darrena Aronofského, od Pí a Requiemu za sen přes Fontánu, Wrestlera a Černou labuť až po Noema z roku 2014. "Myslí si, že má povinnost mě obsazovat," žertoval herec roku 2012 na dotaz časopisu Hollywood Reporter, proč mu Aronofsky pořád nabízí další role. "Dělal jsem už na jeho prvním filmu Pí, který měl rozpočet 60 tisíc dolarů. Tehdy ho nikdo neznal. Tři měsíce jsem mu nedal pokoj, protože mi furt sliboval, že už mi zaplatí honorář. Teprve když jsem začal vyhrožovat, že si postěžuji jeho matce, tak ty peníze sehnal," vyprávěl Margolis.
