Küçük Yozgat’ın kuruluş tarihi tam olarak bilinmese de, bölgedeki arkeolojik buluntular antik dönemlere ışık tutuyor. Sungur Mevkii'nde gerçekleştirilen kazılarda, Roma dönemine ait Hygeia ve Asklepios heykelleri ile Osmanlı dönemine ait Aşağı Cami gibi değerli yapılar ortaya çıkarıldı. Bu buluntular, Küçük Yozgat’ın tarih boyunca önemli bir yerleşim yeri olduğunu doğruluyor.
Bölgenin ilk belgeleri ise yaklaşık 400 yıl öncesine dayanıyor. O dönemde Ankara'ya bağlı bir köy olarak kaydedilen Yozgat, zamanla Elmadağ’ın stratejik önemini artırdı. Özellikle kervanların konakladığı Derbent Köyü’nün varlığı, bölgenin tarih boyunca önemli bir transit noktası olduğunu gösteriyor. İlk yerleşim alanları bugünkü Yenipınar ve Yenidoğan Mahalleleri olarak biliniyor.
1785-1809 yılları arasında, Ankara Sancağı'nın 13 kazasından biri olan Kasaba-i Bala ve Çukurcak nahiyesine bağlı Yozgat Köyü, 1902’de Ankara Vilayeti Salhanesi'nde beş sancak ve 21 kazadan biri olarak kaydedilmiştir. Asi Yozgat olarak bilinen bu köy, Kurtuluş Savaşı sırasında Elmadağlıların önemli bir rol oynadığı ve İstiklal Mücadelesi'nde aktif olarak yer aldığı biliniyor. Ayrıca, Atatürk’ü karşılayan seymen alayında bulunmaları da bölgenin tarihindeki önemini vurguluyor.
1928 yılında Küçük Yozgat, Bala kazasına bağlı bir bucak olarak teşkilatlandırıldı. 1936 yılında Bala kazasından ayrılarak Çankaya ilçesine bağlandı ve 1941 yılında Elmadağ adıyla anılmaya başlandı. 1944 yılında Elmadağ Belediyesi kurulmuş ve 1 Nisan 1960’da ilçe statüsü kazanmıştır.
Bugün Elmadağ, İç Anadolu’nun tarihi zenginliklerini barındıran önemli bir yerleşim yeri olarak dikkat çekiyor. Bölgedeki arkeolojik kazılar, Elmadağ’ın çok eski medeniyetlerin izlerini taşıdığını ve tarihî önemini koruduğunu kanıtlıyor.