Hamidiye Medresesi, 1893–1894 yıllarında Sultan II. Abdülhamid’in eğitimi taşraya yayma politikası çerçevesinde, Hazine-i Hassa’dan sağlanan ödenekle ve 166.000 kuruş harcanarak inşa edilmiştir. Şıhlı’nın o dönemde Feke Kazası’na bağlıyken 1908’de Develi’ye bağlanması sürecinde bölgenin önemli bir yükseköğretim merkezi olmuştur. Medresenin yapılmasına vesile olan Şıhhılı Kılıç Ali Efendi aynı zamanda medresenin ilk müderrisi olmuş, medresenin bütün masrafı bizzat padişah tarafından karşılanmıştır. Asıl adı Develizade Ali Rıza olan ve medrese öğrenciliği sırasında kılıç-kalkan oyununda bir arkadaşını kazara yaraladığı için “Kılıçlı Ali Rıza Efendi” olarak tanınan Ali Rıza Efendi, 1853 yılında Yukarı Develi’de doğmuştur. Babası, Develi’deki Siva Sitti Hatun Camii içerisindeki oyma çeşmeyi yaptıran Osman Ağa, annesi ise Afşar Beylerinden Şemsi Hatun’dur. İlk öğrenimini köyündeki sıbyan mektebinde tamamlamış, 1868-1880 yılları arasında Kayseri medreselerinde tefsir, hadis ve fıkıh gibi dinî ilimleri tahsil etmiştir. Ardından İstanbul’a giderek Köprülü (veya Beyazıt) Medresesi’nde eğitim görmüş ve Beyazıt Camii’nde İbrahim Hakkı Efendi’den icazet almıştır. İcazet aldıktan sonra memleketine dönerek halka dinî dersler vermeye başlamış; 1883’te yeniden İstanbul’a giderek dönemin önde gelen ulemâsıyla görüşmüş ve çeşitli camilerde verdiği vaazlarla dikkat çekmiştir. Ünü II. Abdülhamid’e kadar ulaşmış, padişah tarafından Yıldız Camii’nde cuma vaazı vermesi emredilmiş ve vaazlarından memnun kalan padişah, kendisine bir dileği olup olmadığını sorduğunda Ali Rıza Efendi köyüne bir medrese yaptırmak istediğini bildirmiştir. Bunun üzerine II. Abdülhamid maddî destekte bulunmuş, Ali Rıza Efendi de 1891-1892 yıllarında Şıhlı’da Hamidiye Medresesi ile birlikte üç çeşme inşa ettirmiştir.

50×40 metre ölçülerindeki dikdörtgen planlı avlulu yapının ortasında şadırvanlı bir havuz yer alır. Kesme ve moloz taş malzemeyle inşa edilen medrese, sağlam duvar örgüsü ve işlevsel planıyla dikkat çeker. İçinde üç dershane ve 21 öğrenci hücresi bulunur; her hücre altı, dershaneler ise yedişer öğrenciyi barındıracak kapasitededir. Bu düzen toplamda 150’yi aşkın öğrenciye eğitim ve konaklama imkânı sunmuştur.

Kuzeydeki cümle kapısı, diğer bölümlerden daha yüksek tutulmuş olup yuvarlak kemerli formuyla anıtsal bir giriş etkisi yaratır. İnşaat sırasında tatlı su getirilmiş, ayrıca üç çeşme yapılmıştır. Sadelik esaslı cephe düzeninde simetrik pencere dizileri hâkimdir. Girişteki kitabe, II. Abdülhamid’in ilme ve adalete verdiği önemi yansıtır. Müderrisliği üstlenen seyyid unvanlı Kılınçzade Ali Rıza Efendi, halk arasında “Büyük Hoca” olarak tanınmıştır. 1904’te 94, 1905’te 100, 1906’da 120 öğrencisi bulunan medrese, askerlik çağına gelen talebeleriyle yükseköğretim düzeyini göstermiş; nihayet 1986/87 yıllarında vakıflarca restore edilerek günümüze ulaşmıştır.