Fatma - Mehmet çiftinin oğlu Mehmet Ali, 21 Ekim 1948’de Trabzon’un Of ilçesine bağlı Gülderen Köyü’nde doğdu. İlkokul öğrenimini köyünde yapan Yılmaz, orta eğitimini İstanbul’da sürdürdü. Kadıköy Kemal Atatürk Ortaokulu’nu ve Haydarpaşa Lisesi’ni bitirdi. Daha sonra Yıldız Teknik Üniversitesi’nin İnşaat Bölümü’nden mezun olan Yılmaz, “İnşaat Mühendisi” olarak iş hayatına atıldı. Askerlik görevini; 1 Temmuz - 1 Kasım 1975 arası İzmir Narlıdere İstihkâm Er Eğitim Alayında kısa dönem olarak yapmıştır.
Mühendis Mehmet Ali Yılmaz, 1973’de ‘TEK-ART’ adlı şirketi kurarak inşaat sektörüne girdi. Müteahhitlik alanında başarıları birbirine eklenen Yılmaz, ilerleyen yıllarda TEK-ART adını, güçlü bir Şirkete dönüştürdü. Taahhütlerini her bakımdan mükemmel, hatta çoğu kez zamanından önce yerine getirmekle “Mehmet Ali Yılmaz” adı ve “TEK-ART” firması, bir “güven simgesi” oldu.
TEK-ART’ın başarıyla tamamladığı pek çok eser arasında, başta Tuzla’daki Deniz Harp Okulu Kampüsü - spor tesisleri - tersanesi ile çeşitli NATO tesisleri ve Sanayi Bölge Altyapı İnşaatları sayılabilir. Ayrıca Yılmaz, 1978 ve 1988 yılları arasında on kez şahsen Türkiye Vergi Rekortmeni de olmuştur.
1979 – 1988 Yılları arasında Türkiye İthalat İhracat Bankası (Titibank – İmpexbank) sahibi olarak bankacılık alanına giren Yılmaz, 1983-89 yılları arasında sahibi olduğu Güneş Gazetesi ile basın sektörüne girdi. Türkiye’nin en büyük yerel gazetesi olan Karadeniz Gazetesi ve kardeş kuruluş olan Sesimiz Trabzon Gazeteleri ile yazılı basında, Zigana Radyo - TV ve 2011 yılında ulusal yayın hayatına başlayan TVEM’i kurarak ta, görsel basında büyük istihdam alanları yaratmıştır.
Yılmaz, 1991 - 96 yılları arasında Türkiye Cumhuriyeti 19. Dönem Trabzon Milletvekilliği, 49. ve 50. Dönem hükümetlerinde de Devlet Bakanı olarak görev aldı. Bu dönemde yaptığı çalışmalar arasında Olimpiyat yasasını çıkarıp, futbol’a özerklik getirerek, Türk sporu ve politikasında derin izler bıraktı.
1996 yılında Antalya Kemer’de 5 yıldızlı Zigana Tatil Köyü’nü faaliyete geçirerek turizm sektörüne giren Yılmaz, 2017 yılında da İzmir’de Alaçatı Zigana Resort Hotel tesislerini Türk turizmine kazandırmıştır..
1982 / 2001 Yılları arasında, Trabzonspor Kulübünde çeşitli dönemlerde 16 sene en uzun süre kulüp Başkanlığı da yapan Yılmaz, Trabzonspor Kulübü Onursal Başkanıdır. Basın Konseyi kurucu üyesi olmakla birlikte, Gazeteciler Cemiyeti, Türkiye Spor Yazarları Derneği, Mühendisler Odası, Müteahhitler Sendikası üyesi olup, evli ve 5 çocuk babasıdır.