Erkilet'in hangi tarihte kurulduğuna ilişkin kesin bilgiler bulunamamıştır. Dil-Tarih-Coğrafya Fakültesi'nde yapılan görüşmelerden; bölgenin tarihi içerisinde Erkilet'in de Eti Uygarlığı sırasında tarih sahnesine çıkabileceği ifade edilmiştir. Bugün bir çoğu mevcut olan ve zamanında halkın meyve deposu olarak kullandığı mağaralardan; eski Bizans ve Roma Hükümdarlığının sürdüğü ve halklarının yaşadığı biliniyor. Beldedeki mağaralarla, Göreme Vadisi'ndeki yaşam biçimi arasında ilişki kurularak, Nevşehir yöresindeki Kapadokya Krallığı'nın hükümranlığı konusunda daha kesin ifadeler kullanılıyor. Ancak bu devirden kalan mağaralarda mimari özellikler veya süsleme sanatları açısından günümüze bir şey kalmamıştır.
Eski çağlardan kalma tek tarihi eser M.Ö. I. ve M.S. II. yy'larda Orta Anadolu'nun en büyük "kral mezarı" olarak, birkaç kral boyunca yığılmış "tümülüs"tür. Beldenin kuzeyindeki tümülüs (tapınak-yığma-mezar), 400 mm. yüksekliğinde ve 120 m. çapındadır. Tarihi kayıtlarda Türk göçlerinin dalga dalga Anadolu'ya doğru gelmesi sonucu bir Türk boyunun da Erkilet'e geldiği anlaşılmıştır. Yine kayıtlara göre buraya gelen önder kişinin ismi "Erkil Ata"dır. Bu isim daha sonra "Erkilat" olarak anılmaya ve günümüzde de "Erkilet" adıyla değiştirilerek kullanılmaya başlamıştır. Tahrir kayıtlarında Erkilet Köyü "Erkilât" şeklinde kaydedilmiştir.
Yine bazı eserlerde de yanlışlıkla "Erkendi" olarak zikredilmiştir. Halit Erkiletlioğlu'nun "Osmanlılar Zamanında Kayseri" adlı eserinde yer verdiğine göre XVI. yy. başlarında Kayseri kazasının; Sahra, Koramaz, Cebel-i Ali (Ali Dağı), Cebel-i Erciyes (Erciyes Dağı), Karakaya, Kenar-ı Irmak, Malya, Karataş ve Bozatlu olmak üzere 9 nahiyesi bulunmaktaydı. Nahiyeler, kaza kadılarına bağlı naibler tarafından idare edilirdi. Erkilet Kasabası, bugün var olmayan 435 müslüman ve 144 gayr-i Müslim olmak üzere 579 hareden oluşan Sahra nahiyesine bağlı bir köy durumundaydı. XVIII. yy.da Padişah III. Ahmet'in vezirlerinden Erkilet doğumlu Sadrazam Nişancı Mehmet Paşa'ya vakfedilen Erkilet, bu tarihten sonra geniş bir imar faaliyetine sahne olmuştur (1715). Erkilet'in ismi konusunda diğer bir iddia da bu döneme ilişkindir. Buna göre, o güne değin ismi Arkalla olan beldeye, Erkilet isminin Sadrazam Nişancı Mehmet Paşa tarafından verildiği ileri sürülmektedir.
Erkiletli Sadrazam Mehmet Paşa, Selânik gümrüğü kendisine aitken Paşaya, kendisinin doğum yeri olan Erkilet'le Selânik gümrük varidatını değiştirmeyi teklifi etmiş, bu teklif kabul edilen Mehmet Paşa, Erkilet'i tamamen vakfetmiştir. Daha sonra ise hudutlarını tayin ettirmiştir. Vakıfnâmede Erkilet hudutlarından birisinin adının Sırça Saray olduğu yazılıdır. Bu da Kayseri'deki Sırça Kümbet gibi bir şeydir. İsmine nazaran belki de burada Selçuklulardan kalma Çinili bir saray vardır. Ancak bugün yalnız mevkii mevcut olup bina eseri yoktur. Erkilet tamamen vakfedilmiş olduğundan ahalisi vergi, aşar vs. tehaliften muaf idi. Erkilet bu vakıfnâmeden istifade ederek uzun bir zaman vergi vermemiştir. Sonradan bazı ileri gelenler, başka yerlerin halkı gibi vermek suretiyle vatandaşlık vazifesini yerine getirmek istemiş ve bir müddet vergi vermişlerdir. Fakat sonradan gelen bir nesil, belirlenmiş olan parayı vermekten imtina etmiş, vakfiyeyi ileri sürmüş, ancak devletin aldığı kesin karar neticesinde iki sene daha bu parayı vermişlerdir. Sonra 1290'dan 1300 senesine kadar hükümet birikmiş olan vergileri tahsil için bunlara ait koyun ve inek sürülerini satılmak üzere şehre sürdürmüştür. Erkiletliler bunun üzerine hükümete müracaat ederek birikmiş olan vergilerini ödemişler ve o seneden itibaren de muntazam vergilerini vermeye başlamışlardır.
Erkilet 1912 yılında belediye olmuş, 1988’de de Kocasinan Merkez İlçesi’ne bağlanmıştır. Vaktiyle 1000 hanesi olan Erkilet’in günümüzde kendisine bağlı köylerle birlikte 4750 hanesi ve 12,869 nüfus mevcuttur. Başlıca mahalleri; Zâde Mahallesi , Cami-i Kebir Mahallesi, Arabıdın Mahallesi, Tepe Mahallesi, Yukarı Mahalle, Dere Mahallesi, 100. Yıl Mahallesi, Mehmet Akif Ersoy Mahallesi , General Emir Mahallesi , Osman Gazi Mahallesi , Dadağı Mahallesi , Kemer Mahallesi , Vatan Mahallesi’dir. Ayrıca Emmiler , Çevril , Taşhan Köyleride Erkilet’e bağlı Orman Köyleridir.
