Eski çağlarda " İndos Vadisi" olarak bilinen bölge; sırasıyla Hititler, İonlar, Akalar, Frigler, Lidyalılar, Persler, Helenler ve Roma İmparatorlukları´nın egemenliği altında kalmıştır.

        1071 Malazgirt Savaşından sonra Anadolu´ya gelen göçmen Türk Boylarından Oğuz Kafilesi´nin Avşar Oymağı´na bağlı Karaağaç Baba yönetimindeki bir kol Eşeler Dağı eteğine (bugünkü Dodurgalar, Yazır, Kumavşarı, Darıveren Kasabaları ve çevresi), diğer kolu da Elmadağ eteğine (bugünkü Karahöyükafşarı, Yeşilyuva, Yatağan çevresi) yerleşmişlerdir.

        Merkezi Kütahya´da olan ve bugünkü Serinhisar İlçesine sınır Germiyanoğulları Beyliği, bereketli Hamit Ovası´nı (Acıpayam Ovası) ele geçirmek amacıyla uzun süren savaşlar yapmışlardır. Bu savaşlar sonucunda Avşar Beyi Karaağaç Baba önderliğinde Germiyanoğulları’ndan kurtulmuş Hamitoğulları´nın eline geçmiştir. Daha sonraları bölge, tekrar Germiyanoğulları´na geçmiştir. 1381 yılında Germiyanoğlu Süleyman Şah´ın Osmanlılarla akraba olması nedeniyle kızı Devlet Hatun´u Osmanlı Hükümdarı Murad Hüdavendigar´ın oğlu Beyazıt´a verdiğinden Hamit Ovası çeyiz olarak Osmanlılara verilmiştir.

        Sultan Beyazıt´ın Timur´a yenilmesi sonucu, Osmanlıların zayıflaması ile bölge tekrar Germiyanoğulları’na geçmiştir. Germiyanoğulları’ndan memnun olmayan bölge halkı Hamitoğulları´na bağlanmak isteğiyle baş kaldırmıştır. Bu nedenle bölge halkı bir süre "Asi Karaağaç" olarak anılmaya başlanmıştır. 1429 yılında ikinci kez Osmanlılara geçen bölge Isparta Sancağı´na bağlanmıştır. Isparta Sancağı´nda iki Karaağaç olunca birine "Şarkîkaraağaç" diğerine de " Garbikaraağaç" adı verilmiştir. Böylece bölge halkı "Asi" töhmetinden kurtarılmıştır. Bir süre sonra Burdur´un sancak olması nedeniyle bölge Burdur Sancağı´na bağlanmıştır. 
Bölge halkının Germiyanoğulları´na karşı vermiş oldukları mücadele günümüze kadar gelen " Avşar Beyleri" türküsü ile ifadesini bulmuştur.

        Garbikaraağaç, 1870 tarihli "Osmanlı İdari Nizamnamesi" ile 1871 yılında ilçe olmuştur. 1888 yılında Denizli Sancağı´na bağlanan Garbikaraağaç kazası, daha sonra ACIPAYAM adını almıştır.