1972-től versenyzett a Ferrari F1-es csapatának színeiben, majd 1975-es év hozott igazi áttörést, amikor is a Spanyol Nagydíj leggyorsabb körét megfutotta, majd a Svéd Nagydíjon negyedik, Franciaországban pedig ötödik lett. 1976-ban már nem volt elégedett a csapatával, és visszatért a Lotus istállóhoz, ahol ismét sikeres lett: Hollandiában harmadik helyezést ért el, majd megnyerte a Japán Nagydíjat, amely öt év óta az első győzelme lett. 1977-ben Andretti új autójával, amelynek fejlesztésében maga is részt vett, számos győzelmet aratott: a Long Beach-i, a spanyol, a francia és az olasz nagydíjat is zsebre tette, de a szezon közepén bekövetkezett motorhibák megakadályozták a bajnoki címért való további küzdelemben, és a harmadik helyre szorult vissza. 1978-ban megnyerte a nyitó futamot Argentínában, majd további öt nagydíjat nyert (Belgium, Spanyolország, Franciaország, Németország, Hollandia), és a bajnoki cím egy karnyújtásnyira volt tőle, amikor megérkezett Olaszországba. A bajnoki címhez végül egy tragédia segítette hozzá: csapattársa, Ronnie Peterson a monzai rajtvonalbalesetben életét vesztette, és így Andretti behozhatatlan előnyre tett szert a pontversenyben. Az 1979-es F1 szezon nem volt ilyen sikeresnek mondható, de az 1980-as még ezt is alulmúlta. 1981-ben csatlakozott az Alfa Romeohoz, de ez a F1-es szezonja is katasztrofálisan sikerült.
Ugyanebben az évben történt, hogy második lett az Indianapolis 500-on, bár az eredmény vitatott. 1982-ben, amikor Enzo Ferrari felkérte, hogy szerepeljen utoljára vendégként az 1982-es Olasz Nagydíjon Monzában, Andretti nem tudott ellenállni. Azon a pályán, ahol tinédzserként először égett F1-es lázban, a 42 éves Andretti a pole-ból kvalifikálta magát a Ferrari 126 Turbóval, és lenyűgöző harmadik helyen végzett.
A 128. és egyben utolsó nagydíja a Las Vegas-i volt.
Észak-Amerika egyik legnagyobb autóversenyző csapata, a Newman-Haas Racing 1983-ban alakult, és a következő években Andretti jelentős szerepet töltött be a csapat életében. Számos versenyen indultak. 1985-ben újabb második helyet szerzett az Indianapolis 500-on. Andretti fiával, Michaellel együtt versenyzett. Michael igazi sztárrá vált, de amikor 1993-ban F1-re váltott, akkor megüresedett helyét Nigel Mansell foglalta el. Andretti ugyanebben az évben beállította a leggyorsabb időmérős sebességet a Michigan International Speedwayen. Az 1994-es „Arrivederci Mario” szezon végén vonult vissza a Champ Cars-tól, miután rekordot jelentő 407 indulásából 52-t megnyert a sorozatban.
Andretti alig várta, hogy a Le Mans-i 24 órás verseny megnyerésével kiegészítse lenyűgöző önéletrajzát, és még négy alkalommal indult a francia klasszikuson – 2000-ben nyolcadszor, és egyben utoljára szerepelt. A legközelebb 1995-ben került a győzelemhez, amikor második lett, kevesebb mint egy körrel lemaradva.
2002-ben csatlakozott a Championship Auto Racing Teams igazgatótanácsához. Időskorára sem vált inaktívvá, többek között saját benzinkútláncot üzemeltet, valamint számos más területen igazgat vállalkozást.
Jelenleg Pennsylvaniában él.