Alexander Zemlinsky se narodil ve Vídni jako typické dítě habsburské monarchie. Jeho matka pocházela ze Sarajeva, otec – Adolf von Zemlinszky s nedoloženým šlechtickým predikátem – z rodiny katolických obyvatel východního cípu dnešního Slovenska. Odešel do Vídně, kvůli své ženě konvertoval k židovství a působil jako žurnalista a sekretář židovsko-turecké náboženské obce. Syn Alexander přišel na svět 14. října 1871 v Leopoldstadtu, čtvrti obývané převážně Židy. Sečtělý otec synovi předal kulturní zájmy, další podněty přinesla pestrá umělecká a myšlenková směs tehdejší Vídně.
Roku 1884 byl Alexander Zemlinsky přijat na konzervatoř Společnosti přátel hudby, kterou absolvoval roku 1892 Symfonií d moll. Rozhodující pro něj bylo seznámení s Arnoldem Schönbergem, kterému se, ač jen o tři roky starší, stal mentorem a po Schönbergově svatbě se Zemlinského sestrou Mathildou i švagrem. Schönbergovým prostřednictvím se Zemlinsky seznámil s osobnostmi tehdejší umělecké Vídně, s Gustavem Mahlerem, Franzem Schrekerem, Hugem vom Hofmannsthalem aj.
Mahler uvedl roku 1900 Zemlinského operu Bylo nebylo ve Dvorní opeře; tři představitelé rolí pocházeli z Čech, basisté František Pácal a Vilém Heš a brněnská rodačka, sopranistka Jenny Pohlner. Rychlá kariéra však Zemlinského nečekala, spíš nádenické kapelničení. Našel místo jako kapelník Carlova divadla v rodné čtvrti, kde zůstal tři sezóny. Po mezistanici v Divadle na Vídeňce následovalo angažmá ve Volksoper, kde získal zásadní zkušenosti operního dirigenta. Nabídka z Dvorní opery přišla v době její krize, která vedla k Mahlerovu odchodu do Ameriky a Zemlinsky se po jedné sezóně vrátil do Volksoper.
Praha a zlom
Roku 1911 nastoupil Alexander Zemlinsky jako šéf opery Nového německého divadla v Praze. S ní jsou spjata jeho mistrovská léta jako dirigenta i skladatele, a Zemlinského působení také znamenalo vrcholná léta pražské německé opery. S divadelním orchestrem pokračoval v pořádání symfonických koncertů, které vedle podniků České filharmonie spolutvářely hudební charakter tehdejší Prahy. „Každý takt jako vybroušený krystal...,“ psal o jeho dirigentském umění kritik Ernst Rychnovsky. V Praze mělo premiéru Zemlinského stěžejní dílo, Lyrická symfonie na verše Rabindranátha Thákura, definitivní verze opery Šaty dělají člověka, uvedl zde Schönbergovy Gurrelieder, ve světové premiéře jeho monodrama Očekávání.
Roku 1927 nastoupil Zemlinsky do Krollovy opery v Berlíně, nepřišel ale ve vhodnou dobu. Hospodářská krize pomohla vzestupu nacionálních socialistů a progresivní Krollova opera roku 1931 na základě úředního zásahu skončila. Existenčně byl Zemlinsky odkázán na pohostinské dirigování, často také u České filharmonie. Po Hitlerově nástupu k moci se vrátil do Vídně. Téhož roku se v Curychu uskutečnila premiéra jeho opery Křídový kruh a začátkem roku ještě následovalo přes protesty nacionálních socialistů a cenzurní zásahy několik uvedení v Německu; v prosinci 1934 měla opera premiéru i v Praze.
Také v Rakousku ale přestávalo být bezpečno. Po jeho připojení k hitlerovskému Německu odjel Zemlinsky se svou druhou ženou, pražskou rodačkou Louisou Sachsel, a s dcerou z prvního manželství do Spojených států. Vystěhovalecký pas mu pomohly vyřídit československé úřady. V zavazadle vezl rozpracovanou partituru opery Král Kandaules, kterou už nedokončil. Zdravotně poznamenaný Zemlinsky neměl na nový nástup v cizině síly, zemřel 15. března 1942 v Larchmontu ve státě New York. Roku 1985 byl jeho popel převezen do rodného Rakouska a uložen na vídeňském Ústředním hřbitově.