1945 yılında Erzurum'un Aşkale ilçesi Dağlı Köyü'nde dünyaya gelir.
 3-4 yaşlarından itibaren kendisini babasının değirmeninde bulur. Müzikle ilk tanışması burada olur. Sanatçı bu süreci şöyle anlatır;

"Tek bir ses, suyun sesi. Su altta pervanelere vurur. Pervanenin dönerken çıkardığı ses ve bir de iki taşın birbirine sürtmesinin sesi birbirine karışır. O sesi değiştiren tek yabancı unsur vardır. O da kocaman, şakşak denen ağaçtır. Ağacın üzerine nal çakarlar. Taş döndükçe ona sürter, ara sıra taşın çakılları değer, şangır şungur sesler çıkarır. Yani düz sesi bir ritimle, değişik seslerle bozar. Değirmende bu sesleri sürekli dinlemek zorundasınız. Taşlar devamlı döner ve şakşak dediğimiz ağacın üstündeki o nalların sesi değirmen taşına müzikte duyduğun ritmi verir. Ve orada hayal kurarsın, rüya görürsün... Orkestralar yönetirdim orda kendimce. Müziği ben oradan hatırlıyorum. Müziğe kafamı taktığım, müzikle diyalogu kurduğum yıllar o yıllardır..."

  Değirmentaşı ve su sesinin uyumu Arif Sağ'ın dinlediği ilk orkestradır. 5 yaşında kavalla, 6 yaşında ise gramofon ve plakla tanışır.
  Bağlamayla 7 yaşında iken Erzincan'da 'Kumaş Dede'nin dükkanında tanışır. Burası öyle bir dükkandır ki bağrında Davut Sulari, Aşık Daimi, Ali Ekber Çiçek, Aşık Beyhani, Kemter Yusuf v.b. yetiştirmiştir. 14 yaşına kadar aşıklık geleneğini öğrenip deyişler söylemeye başlayan sanatçı, sonraki yıllarda İstanbul'a gelir ve Aksaray Musiki Cemiyeti'nde Nida Tüfekçi'nin öğrencisi olur.
  Bu dönemlerde müzikal altyapısını oluşturma dönemidir. 1960 ve 70'li yıllar Arif Sağ için müzikte arayış yıllarıdır. Arif Sağ'ın, bu dönemin toplumsal hareketlerinin müzikle bağdaşan yanlarından çok, piyasadaki ve resmi kurumlardaki müzik uygulamalarına ağırlık verdiği söylenebilir. İlk plağı "Gafil Gezme Şaşkın Bir Gün Ölürsün"ü bu dönemde, 1963'te çıkarmıştır.  1965'de İstanbul Radyosu'na bağlama sanatçısı olarak girer.

Bu yıllarda Sağ'ın piyasadaki faaliyetleri de devam etmektedir. 45'lik plak dönemi olarak adlandırılan ve yaklaşık 20 yıl devam eden bu sürecin en parlak simalarındandır Arif Sağ... Bu süreçte 45'in üzerinde plak, 200'ün üzerinde beste yapar. Çeşitli sanatçılara bağlamasıyla eşlik etmesinin yanında, - yine bu dönemde- bestelerini de pek çok sanatçıya okutur. Yapılan müzik bugünkü terminolojiyle bir tür arabesk- fantazi benzeridir; bestelerinde ise yerel motifleri çok sık kullanır.Bu da onun halk müziğinden kopamadığı gerçeğinin bir başka göstergesidir.

 1975'de kurulan "İstanbul Devlet Türk Müziği Konservatuarı"na "öğretim üyesi" olarak giren Arif Sağ, halk müziği ve bağlama konusundaki akademik çalışmalarını da bu dönemde başlatır. 1982'de konservatuardan ayrılarak, kendi adına "Arif Sağ Müzik Evi"ni kurar. Bu arada Musa Eroğlu, Muhlis Akarsu ve Yavuz Top gibi bağlamanın diğer ustalarıyla Muhabbet serisinin ilk albümünü hazırlar. Uzun bir zamana yayılan bu birlikte çalışma, beş albüm ortaya çıkarır.
  1982 yılında İstanbul'da Şan Tiyatrosu'nda ilk 'Bağlama Resitali'ni verir. Sonrasında bu dönemlerde Avrupa'nın bir çok ülkesi ile Uzakdoğu'da (Japonya'da) halk müziğimizi ve halk çalgımızı tanıtıcı çalışmalar yapar.
  Ülkemizde müzik alanında kişisel renklere ve üstün yeteneklere sık rastlanmasına rağmen, bağlama çalgısında bir ekol yaratan sanatçı sayısı parmakla sayılacak kadar azdır. İşte bunlardan birisi ve -şimdilik - sonuncusu Arif Sağ'dır. Bağlamaya teknik bakımdan hakim olduğu kadar Arif Sağ'ın icrası, yerel tavırlar, repertuar ve duygu bakımından da zenginliklerle doludur.   Halk müziği ve bağlama alanında özgün arayışlarını yoğunlaştırarak sürdüren Arif Sağ, bir dönem (1987-1991) parlamentoda "milletvekili" olarak bulunan ilk sanatçıdır.

5 Mayıs 1996'da Almanya Cumhurbaşkanı Sayın Roman Herzog'un desteği ile Köln Flarmoni Orkestrası ile Köln Flarmoni Salonu'nda verdiği konserle Anadolu müziğinin batıya tanıtılmasına ciddi katkılar koymuştur.   1996 yılında Köln Senfoni Orkestrası eşliğinde Erdal Erzincan ve Erol Parlak 'la birlikte Köln'de verdiği konser büyük ilgi görür ve yine aynı yıl Cumhurbaşkanlığı tarafından verilen özel ödülü alır.  Arif Sağ, sazında günlük yaşamın ekmek-su gibi doğal bir parçası sayılan Anadolu Aleviliği'nin "aşık-ozan" geleneği ortamında yaşayarak yetişmiştir.

  Son olarak 21. 01. 2000 - 05. 02. 2000 tarihleri arasında, İspanya'nın ünlü Flamenko gitaristi Toma Tito ile Avrupa'nın 12 ayrı şehrinde konserler vererek bağlamanın yurt dışında tanınmasını ve hak ettiği övgüyü almasını sağlamıştır.
  Sanatçı evli ve iki çocuk babasıdır.