İlçemizin ne zaman ve kimler tarafından kurulduğuna dair elde kesin belgeler bulunmamaktadır. İlçe merkezinin kuzeyine düşen Civelek Köyü mağarasında bulunan vazolar ve küpler ilçe tarihinin M.Ö.7500-8000 Yıllarına kadar uzandığını gösterir.M.Ö.3000-2000 Yıllarında bu bölgede hüküm süren Hitit uygarlığına ait eserler ilçemizdeki büyük kale ve küçük kale mevkiileri, Ovaören (sivasa beldesi) ve Gökçetoprak köyünde hala gezilebilir durumdadır. Frigyalılar M.Ö.900-800 yıllarında Kapadokya´ ya saldırarak egemenlikleri altına almışlardır. Gülşehir´de bu saldırılardan etkilenmiştir. Frigyalılardan sonra bölgeye Lidyalılar, Medler, Kimmerler, Helenler, Romalılar, Bizanslılar, Araplar, İranlılar yüzyıllar boyu hüküm sürmüşlerdir. ​Bizanslılar döneminde ilçenin isminin Zoropassos olduğu tesbit edilmiştir. Gülşehir M.S. 3 ila 8. Yüzyıllar arasında Kapadokya´nın dini başkenti olarak kalmış ancak, Açıksaray rahiplerinin 8. YY. sonunda başlayan kiliselere resim yapma akımını kabul etmemeleri üzerine bu ünvanı kaybetmiştir. 1071 Yılındaki Malazgirt Zaferinden sonra Kapadokya Selçuklu Türklerinin hakimiyeti altına girmiş ve ilçenin Zoropassos olarak anılan ismi de Arapsun olarak değiştirilmiştir. 14.Yüzyılın tamamıyla 15. Yüzyılın ilkyarısında Anadolunun belli başlı ilim merkezleri başında yer alan ilçemiz 1212 yılında Mengücük oğulları hakimiyeti altına girmiştir. Aynı yüzyıl içerisinde Anadolu Selçuklu Sultanı Alaaddin Keykubat burasını ülkesi hudutları içerisine katmış ve adınıda GÜLŞEHİR olarak değiştirilmiştir.