Kızılhisar´ın, şimdiki Kaya Mahallesi nin bulunduğu yer ve civarında M.Ö. 1500-1400 yıllarında Eti´ler (Hititler) tarafından kurulduğu sanılmaktadır. Kızılhisar 200 yıla yakın Eti İmparatorluğunun, M.Ö. 1200 yıllarında İonlar- Akarların, M.Ö. 800 yılında Lidyalıların, M.Ö. 546 yılında Perslerin, M.Ö. 440 yılında Karyalıların M.Ö. 334 yılında Makedonyalıların, M.Ö. 200 yılında bu imparatorluğun parçalanması üzerine Selevkosların, M.Ö. 133 yılında da Roma İmparatorluğu´nun idaresinde kalmıştır. M.S. 1077 yılında Anadolu Selçukluları´nın yaptıkları savaş neticesinde, Roma İdaresi´nden kurtularak, 1308 yılına kadar Selçuklular´ın idaresi altına girmiştir.1292 yılında Cengiz Han´ın idaresine giren Kızılhisar, 1402 yılında Timur tarafından tekrar Germiyan Oğulları beyliğine bağlanmıştır. 1292 yılında Cengiz İmparatorluğu´nun tanınmış şahsiyetlerinden Ketykavus´un ölümü ve 1300 yılında İlhanilerin tahtına sahip Ebusait Bahadır Han´ın küçük olması dolayısıyle Kızılhisar, Gölhisar Sultanlığı tarafından idare edilmiştir. Gölhisar Sultanı Mehmet Çelebi´nin 1325 yılında ölmesi üzerine 1326 yılında Germiyanlarla savaş ilan edilmiş ve bu sene içinde Kızılhisar ve yöresi Kütahya´da bulunan Germiyanların eline geçmiştir. Böylece Kızılhisar 1429 yılından İstiklal Harbine kadar Osmanlı İmparatorluğu´nca idare edilmiştir. 1300-1310 yıllarında taş ve tuğladan yapılan küçük bir Hisardan dolayı, Kızılhisar adını almıştır. Bu isim de tuğla ve toprağının kırmızı olması nedeniyle verilmiştir. Halk dilinde bu yerde kızıl isimli asi bir şahıs varmış. Kendisine karşı gelenleri astırırmış ve bundan dolayı “Kızılasar”denilmekte ise de bu tamamen bir rivayetten ibarettir. XVI. yüzyılın başlarında Karaaağaç ovasına hakim; Yören Dağı eteğinde önce Kepez sonra Yerlikaya adıyla köy olarak kurulmuştur. Kızılhisar´ın 1429 yılında Osmanlı İmparatorluğu´nun sınırları içine alınmasından sonra Değirmen deresi önündeki Cevizler (Karaağaçlar), Honaz Dağı eteğindeki Eğrikavak, Alaylı, Harami (Akmazca), Yağlıhan, Kısmen Boyralı-Karacaören, Meleş-Menengeç ve en sonrada (1760 yılında) Omurtakta bulunan küçük oba ve köyler yerlerinden kaldırılarak burada toplanmasıyla büyümüş olan Kızılhisar, mahalleler kurulduğunda Kaya, Orta, Pınarcık, Aşağı ve Yenice olmak üzere 5 mahalleye ayrılmış ve 5 muhtarlık tarafından idare edilmeye başlanmıştır. Kızılhisar yöresindeki ve yukarıda isimleri belirtilen küçük oba ve köylerin, Oğuz Türkleri-Türkmenler tarafından kurulduğu, adet, ırk, dil, din ve ananelerine bağlı bulundukları bir gerçektir. Kızılhisar ve çevresi Oğuzlar ve bunların bir kolu olan Avşarlar tarafından kurulmuştur. Osmanlı Devletinde 2 Eylül 1858 tarihli İdari taksimata göre ülke; Eyalet, Kızılhisar´ın İlçe olması için 1950, 1963 ve 1984 yıllarında yapılan müracaatlar sonuçsuz kalmıştır. 1987 yılına kadar Acıpayam ilçesine bağlı kasaba olarak faaliyet gösteren Kızılhisar, 19.06.1987 tarih ve 3392 sayılı Kanunla 103 İlçe kurulmasıyla Kızılhisar da bunlarla birlikte “İlçe” olmuştur. Kızılhisar adı da “Serinhisar” olarak değiştirilerek, 02.09.1988 tarihinde İlçelik resmen törenle açılarak kurumlar süratle kurulmuştur.