Otec byl malířem pokojů a přivydělával si po vesnicích jako houslista. Na housle učil i své děti. Carlův talent byl mimořádný, záhy se naučil hrát skladby velkých mistrů, jako byl Mozart a Beethoven. V místní hudební společnosti se Carl seznámil s orchestrální hudbou a v roce 1879 vyhrál místo ve vojenské kapele v Odense.
Hrál v ní na lesní roh a na altový trombón. Sám se naučil hrát na víc nástrojů a v roce 1884 se dostal na hudební konzervatoř v Kodani, kde studoval hru na housle. O tři roky později prošel zkouškami a zvítězil v soutěži o místo v Dánské královské kapele, orchestru kodaňské opery.
V roce 1890 dostal grant, aby mohl jet na studijní cestu do Německa a Francie. V Paříži se potkal s dánskou sochařkou Annou Marií Brodersenovou a za měsíc se ve Florencii vzali. Později spolu měli dvě dcery. Mladší z nich (Anne Marie) si vzala houslového virtuosa Emila Telmányho.
Roku 1905 Carl opustil místo orchestrálního houslisty a tři roky nato byl jmenován druhým dirigentem Královského divadla. Zde setrval do roku 1914. O rok později se stal šéfdirigentem Kodaňské hudební asociace. Zároveň učil hudební teorii na konzervatoři, kde působil rovněž jako člen školní rady. Devět měsíců před svým skonem v roce 1931 byl jmenován jejím ředitelem.
Jako skladatel byl Nielsen zpočátku ovlivněn Brahmsem, Dvořákem a Griegem – za příklad může sloužit jeho okouzlující Malá suita pro smyčce, opus 1 z roku 1888. Ale rychle rozvinul svůj vlastní kompoziční styl. Velmi odlišný, avšak osobitý - jako Janáčkův.
Jakmile jeho hudbu uslyšíte poprvé, poznáte jeho rukopis ve všech jeho dílech. Nemá nic společného s romantismem, melodické kroky užívá velmi netradičním způsobem, není modernistický, spíše lyrický, založený na několika kratších repetitivních motivech. Veliké a přitom jednoduché…
Nielsen složil šest symfonií (3., 4. a 5. jsou jeho největšími díly). První byla napsána roku 1892, druhá s podtitulem „Čtyři povahy“ v roce 1902, třetí „Rozpínavá“ v roce 1911, čtvrtá „Neuhasitelná“ v roce 1916, pátou napsal v roce 1922 a šestou, Sinfonii semplice - „Jednoduchou“, v roce 1925.
Oproti sibeliovskému těžkému severskému romantismu byly Nielsenovy symfonie přijímány nelehce. Ale když Leonard Bernstein v roce 1965 dirigoval „Rozpínavou“ a obdržel významnou dánskou hudební cenu Leonie Sonning, prorazily si Nielsenovy symfonie nakonec cestu do celého světa.
Bernstein jich nahrál všech šest a k tomu i jeho tři skvělé instrumentální sólové koncerty: pro housle (komponovaný 1911), pro flétnu (1927) a pro klarinet (1928). Další významné symfonické komplety natočil mj. Herbert Blomstedt se Sanfranciským symfonickým orchestrem, Dánský národní rozhlasový orchestr a konečně Newyorští filharmonici (tentokrát s dirigentem Alanem Gilbertem).
Mezi další orchestrální díla patří koncertní předehra Saga-Drøm (1908), hudba ke hře Alladin (1919), „Cesta do fantazie na Faerské ostrovy“ (1927) a „V česko – dánském lidovém tónu“. Tato skladba byla zadána Dánským rozhlasem jako pocta návštěvě českého dirigenta Jaroslava Krupky. Hudba je založena na české lidové melodii a staré dánské písni o smrti české princezny, později královny Dagmary, která si vzala dánského krále Valdemara (1171 – 1241).
Nielsen napsal také několik kantát, například Hymnus Amoris oslavující lásku a Jaro ve Fynu(1921). Obě díla jsou pro vokální sólisty, sbor a orchestr.
Jako operní skladatel je Nielsen známý pouze v Dánsku. Napsal dvě opery. Lehkou, vtipnou Maškarádu (1906) založenou na hře Ludviga Holberga z osmnáctého století. Pojednává o tom, jak tanec a lehkomyslnost zasahují do života buržoazní kodaňské rodiny. V roce 1901 dokončil pak operu Saul a David na velmi známé biblické téma.
Skladatelova komorní hudba obsahuje také šest smyčcových kvartetů, dvě houslové sonáty, Serenatu in Vano pro tři dechy a dva smyčce a skvělý dechový kvintet z roku 1922. Složil několik klavírních kusů – také pro děti - a varhanní hudbu (nejvíce je ceněno Commotio).
Kromě toho napsal Nielsen hudbu k téměř třem stům padesáti hymnům a dánským písním. Staly se tak populárními, že je mnozí Dánové znají nazpaměť. Například píseň „Jens Vejmand“ o starém kameníkovi, kterého zničily život a tvrdá práce a který má na hrobě desku nikoliv kamennou, nýbrž ze dřeva… Nepsal však písně v tradičním smyslu.
Nielsenův odkaz se ukázal jako velmi významný pro další dánské skladatele. Čerpali z něho Herman D. Koppel, Vagn Holmboe a mnoho jiných.
Většina Nielsenovy hudby je k dispozici na nahrávkách a na internetu. Partitury byly v roce 2014 vydány v nové kritické edici a originální rukopisy jsou uloženy v Dánské královské knihovně.