Şarkışla çevresinde ve ilçeye bağlı Mergesen Köyü (ilçe merkezine 5km uzaklıkta) önlerinde, yüzeyde ele geçen çakmaktaşından araç-gereçler, büyük olasılıkla Neolitik Döneme ait kazıyıcı ve uçlardır. Bu deliller de Şarkışla´ya Neolitik Dönemde yerleşildiğini ortaya koymaktadır. Hititler döneminde de, yörenin bir yerleşme birimi olduğu anlaşılmaktadır. Hititler dönemine ait olduğu anlaşılan madeni heykelin ilçeye 5km uzaklıktaki Döllük köyünde bulunması bu fikri doğrulamaktadır. (Heykel tunçtan yapılmış olup 12cm boyundadır ve halen Ankara Etnografya Müzesi´nde Muhafaza edilmektedir).M.Ö 1200´lerde Hitit Devleti´nin yıkılması ile Geç Hitit Prenslikleri´nin egemenliğinde kalan yöre, M.Ö VII. Yüzyılda bu prensliklerin Asur egemenliğini tanımasıyla Asur Devleti topraklarına katılmıştır. M.Ö 695´den sonra Kafkasya üzerinden gelen Kimmerler bu yöreyi ve bütün Kapadokya bölgesini yağma ve tahrip etmişler. Daha sonra İskit saldırılarına da uğrayan yöre, Med Devleti tarafından ele geçirilmiştir. Med Devleti´ni yıkan Persler Sivas ve çevresini Kapadokya Satraplığı´na bağlamışlar. Yörede Pers egemenliğine, tüm Anadolu´da olduğu gibi Persler´i yenen Büyük İskender son vermiş Makedonyalıların hâkimiyeti başlamıştır. Fakat M.Ö 332 yılında eski Pers yöneticilerinden I. Ariarates bağımsızlığını ilan edip Makedonya Krallığını kurmuştur. M.Ö 100´lerde Pontos kralı Mitridates Evpator ile Romalı komutanlar arasında sık sık el değiştiren bölge, M.Ö 17´de kesin Roma hâkimiyetine girmiştir. Roma İmparatorluğu´ nun 395´de ikiye ayrılmasıyla bu yörede Doğu Roma (Bizans) toprakları içinde kalmıştır. Bizans döneminde Armeniakon Theması içinde kalan bölge X.yüzyıldan sonra merkezi yönetimin güçlendirilmesi amacıyla kurulan Sebasteia (Sivas) Theması´na bağlanmıştır.