Neskôr sa zamestnal na jatkách, ale onedlho už bol nezamestnaný. Veľmi skoro si s tromi chlapcami s Birminghamu založili kapelu Polka Tulk, ktorá sa premenovala na legendárnu Black Sabbath.
Skupina debutovala prvým LP s názvom Black Sabbath v roku 1970. Čudesné zvuky, ktorými vtedy ohúrili svet, dnes nenazve nikto ináč ako heavy metal. Osbourne a jeho družina stanovili nové štandardy pre rockerov a to hlavne v spotrebe alkoholu a drog. V roku 1978 ale Ozzy kapelu napriek jej úspechu opustil. Vtedy mala na svojom konte sedem album a milióny predaných kópií. Hádka s členom kapely Tomym Iommim znamenala ale rozkol a Ozzy zdvihol kotvu. Nahradil ho Dave Walker. Ozzy sa koncom roka do skupiny na čas vrátil.
Sólovú zmluvu podpísal Ozzy v roku 1980. V tom čase už mal hotovú LP platňu, ktorú nahral so svojou novou skupinou The Blizzard Of Ozzy. V septembri sa skupina vydala na svoje historicky prvé turné. Postupne sa ich úspech prejavil aj v Spojených štátoch. Kontroverzný Ozzy na seba pútal pozornosť všetkými spôsobmi. V máji 1981 počas stretnutia so zástupcami spoločnosti Columbia odhryzol hlavu živej holubici. Podobný scenár sa opakoval 20. januára 1982. Holubicu však vymenil za netopiera, ktorého mu počas koncertu v štáte Iowa hodil na pódium fanúšik. Netopier bol však šikovnejší a Ozzy musel chodiť na injekcie proti bolesti. Odvtedy do živých zvierat nehryzie.
Rok 1982 sa zapísal do histórie kapely krvou. V marci počas neviazanej zábavy neďaleko Orlanda v štáte Florida narazilo lietadlo kapely do autobusu. Letelo totiž príliš nízko, nešťastne krídlom zavadilo o autobus, kde sa viezli ďalší členovia kapely. Lietadlo narazilo do domu a usmrtilo 25-ročného Randyho Rhodsa. Zahynula aj Ozzyho kaderníčka a pilot lietadla. Osbourne sa napriek tragédií rozhodol turné dokončiť.
V máji 1982 vznikla EP platňa Mr. Crowley. Black Sabbath práve chceli vydať platňu Live At Last so starými skladbami. Ozzy sa voči tomu ohradil a tvrdil, že piesne sú jeho. V newyorskom hoteli Ritz potom nahral staré čísla skupiny a vydal ich na dvojalbume Talk Of The Devil.
V lete toho istého roku sa Ozzy oženil s dcérou svojho manažéra Dona Ardena - Sharon, s ktorou žije dodnes. S prvou ženou Thelmou Mayfairovou sa rozviedol v roku 1981. Po spore medzi otcom a dcérou sa Ozzy napokon rozhodol, že manažovať ho bude jeho vlastná manželka. Ich rodinné vzťahy vtedy poriadne ochladli.
Neopatrný Ozzy natáčal v roku 1984 videoklip k skladbe So Tired. Pri natáčaní mu ale uviazol úlomok skla v hrdle, čo mu spôsobilo trvalé následky. V júni skladba obsadila v britskej hitparáde 20. priečku a Sharon začala na manžela naliehať, aby sa začal liečiť z drogovej závislosti.
V júli 1985 sa na deň obnovila skupina Black Sabbath a v pôvodnej zostave vystúpila na koncerte Live Aid vo Filadelfii. Deň pred koncertom sa ale musel Ozzy dostaviť na súd. Don Arden ho vtedy obvinil, že chce kapelu obnoviť pre účely koncertnej šnúry a zarobiť na nej. Arden však napokon v spore neuspel.
Životopis Ozzy Osbourne vyšiel po prvý raz knižne v roku 1986 pod názvom Diary Of A Madman. V tom čase začal svoje britské turné, na ktoré sa jeho fanúšikovia tešili celé tri roky. Pred sebou mal aj turné po USA a Japonsku. V decembri prežíval zasa krušné obdobie. Kalifornský najvyšší súd ale napokon návrh na obnovenie procesu z 13. januára odmietol. V spore sa ho usilovali zapliesť do samovraždy tínedžera Johna McColluma. Toho vraj k samovražde viedol text jeho skladby Suicide Solution (Rozhodnutia spáchať samovraždu).
V júli 1988 začal koncertovať po väzniciach a oznámil, že najbližšie chce usporiadať turné po blázincoch. Ozzy začal podporovať dobročinné podujatia. Najskôr venoval pätnásťtisíc dolárov na výskum AIDS. Zúčastnil sa aj na hudobnom mierovom festivale na štadióne V. I. Lenina v Moskve, kde vtedy hrali aj skupiny Bon Jovi, The Scorpions, Skid Row, Cindirella, ale aj sovietske skupiny. Celý výnos z podujatia bol určený na programy boja proti drogovej a alkoholickej závislosti v USA a ZSSR.
V septembri 1989 sa dostal pred súd, pretože sa vraj vyhrážal svojej manželke zabitím. Manželia sa napokon zmierili. Ozzy ale predtým musel absolvovať ďalšiu protidrogovú terapiu.
Ozzy a Sharon majú spolu tri deti - dcéry Aimee a Kelly a syna Jacka. Z prvého manželstva má dcéru Jessicu a syna Louisa.
