Otec Josepha Haydna se živil jako kolář. Volné chvíle věnoval hudbě – buď to, nebo i údajný otcův zájem mít ze syna duchovního, měly vliv na to, že se Haydn od šesti let začal učit hře na různé hudební nástroje u svého vzdáleného příbuzného, kantora Johanna Mathiase Francka, v nedalekém Hainburgu.
Další hudební vzdělání získal jako člen chlapeckého sboru vídeňského dómu sv. Štěpána, pod vedením zdejšího kapelníka, varhaníka a skladatele Georga Reuttera ml. Mezi šestnáctým a osmnáctým rokem života toto místo po mutaci ztratil; v dalších letech se ve Vídni živil jako hudebník ve svobodném povolání. Komponoval světskou i duchovní hudbu, vyučoval, stýkal se s řadou významných umělců (mimo jiné skladatelem Christophem Willibaldem Gluckem a libretistou Pietrem Metastasiem, byl doprovazečem zpěváka a skladatele Nicoly Porpory).
Díky tomu se dostal do vyšších společenských kruhů, kde se seznámil s Karlem Josephem von Fürnbergem, který u něj objednával skladby a později mu zprostředkoval místo kapelníka u Karla Josepha Franze Morzina, který na jižním Plzeňsku vlastnil panství Dolní Lukavice. Haydn byl v jeho službách přibližně v letech 1757-1761 (přesná data zůstávají i dnes neznámá). Pro morzinský hudební ansámbl vznikla kolem roku 1757 Haydnova první symfonie, dnes známá jako “Lukavická”.
Poté, co hrabě musel svou kapelu pro dluhy rozpustit, vstoupil Haydn do služeb knížete Paula Antona Esterházyho; po jeho smrti v roce 1762 se na dalších téměř třicet let stal Haydnovým zaměstnavatelem Nikolaus Esterházy. Za pobytů na esterházyovských statcích v Eisenstadtu a Esterháze se Haydn staral o hudební provoz, hudebniny a nástroje, řídil kapelu a především psal – symfonie, divertimenta a koncerty (členy esterházyovské kapely byla řada znamenitých sólistů, mimo jiné i český violoncellista Antonín Kraft), chrámové skladby, kantáty a opery (včetně loutkových), klavírní sonáty a tria, smyčcové kvartety (jež tehdy i později inspirovaly tvorbu dalších mistrovských kompozic ve stejném žánru – mimo jiné Mozartovu i Dvořákovu) a jiná komorní díla – včetně kompozic pro baryton - oblíbený smyčcový nástroj Nikolause Esterházyho, příbuzný basové viole da gamba.
Haydnovy kontakty se světem vně esterházyovských panství, Vídní především, byly v těchto letech zpočátku poměrně vzácné. Později zesílily – skladatel nacházel nové přátele, stýkal se s kolegy (hrával kvartety s Mozartem, Dittersdorfem a Vaňhalem), vyučoval, získával zakázky ode dvora i církevních institucí, začal publikovat své skladby – ve Vídni, Paříži a Londýně; jeho kompozice se šířily i prostřednictvím pirátských vydání.
Po smrti Nikolause Esterházyho přesídlil Haydn roku 1790 do Vídně natrvalo. Jeho úmyslem bylo vést klidný život – už v následujícím roce se však na pozvání německého houslisty a organizátora koncertů Johanna Petera Salomona vydal do Londýna, kde pozitivnímu přijetí jeho skladeb už dříve připravily cestu kompozice tří českých autorů: Františka Xavera Richtera, Jana Křtitele Vaňhala a Vojtěcha Jírovce. Dvě anglické cesty v letech 1791-1792 a 1794-1795 proměnily Haydna z provinčního kapelníka v evropskou celebritu. Koncertoval u dvora, byl promován doktorem hudby, uvedl se jako kapelník i skladatel.
Pro Londýn vznikla řada jeho symfonií, psal písně na anglické texty, podobně jako Ludwig van Beethoven a Leopold Koželuh se podílel na dlouhodobém projektu úprav skotských, velšských a irských lidových písní, z nichž většinu vydal George Thomson v Edinburghu. Zásadní vliv na kompoziční orientaci Haydnových pozdních let mělo jeho seznámení se s Händelovými oratorii, která ispirovala vznik jeho oratorií Die Schöpfung (Stvoření, 1796-1798) a Die Jahreszeiten (Roční doby, také Čtvero ročních období či Čtvero ročních počasí; 1799-1801). Obě tato díla si brzy získala mimořádnou popularitu; právě Haydnovým Stvořením zahájila roku 1803 koncertní činnost ve prospěch svého penzijního fondu Jednota umělců hudebních, která v 19. století patřila k nejvýznamnějším organizátorům pražského hudebního života.
Haydnova oratoria se hrávala i na českém venkově – ve velkých centrech stejně jako v menších obcích, s původním textem i v překladu do češtiny (Stvoření bylo česky poprvé provedeno v roce 1805 v lobkovickém zámku v Roudnici nad Labem, kde v originále zaznělo už roku 1799 - rok po vídeňské premiéře; pražskou premiéru mělo roku 1800 ve strahovském klášteře). V českých zemích byl o Haydnovu tvorbu za jeho života daleko větší zájem, než o Mozartovu - samozřejmě s výjimkou oper.
Mimořádnou oblibu jeho duchovní i světské tvorby dokládají hudební sbírky, které vznikly pro potřeby zámeckých kapel i městských a klášterních chrámů, v nichž lze nalézt i rarity světového významu: téměř dvě stě let nezvěstný Haydnův violoncellový koncert C dur objevil roku 1961 muzikolog Oldřich Pulkert v hudební sbírce hrabat Kolowratů-Krakovských, pocházející ze zámku Radenín na kolovratském panství Hroby u Tábora. Novodobou premiéru mělo toto dílo v Praze roku 1962.