Koyun Baba Türbesi, Yılanlı Dağı’nın yamaçlarında, halk arasında “Harami Deresi” adıyla bilinen bir çukurda bulunuyor. Koyun Baba, 15. yüzyılda yaşamış, Horasan’da doğmuş bir Kalenderî dervişidir. Soyu sekizinci imam Ali er-Rıza’ya dayandırılır. “Koyun Baba” adını gerçek mesleği olan çobanlıktan almıştır. Bir vizyon sonrasında Anadolu’ya gelmiş, Bursa, İnegöl ve nihayet vefatına kadar Osmancık’ta yaşamıştır. Kayseri’de yaşadığına dair tarihî bir belge bulunmamaktadır.

Fakat Evliya Çelebi, 1649 yılında Kayseri’yi ziyaret etmiş ve Yılanlı Dağı’nın eteklerinde bulunan Koyun Baba Türbesi ile Koyun Baba Tekkesi’nden söz etmiştir. Evliya Çelebi, bu tekkeyi Bektaşi tekkesi olarak nitelendirmiştir. Bu durum, Kalenderî dervişlerinin 16. yüzyılın sonlarına doğru Bektaşi tarikatı içinde eriyerek onunla birleşmesiyle açıklanır. Tekke, o dönemde yalnızca dinî amaçlarla kullanılmamış; yerel halk için sevilen bir mesire yeri işlevi de görmüştür.

Bugünkü türbenin bulunduğu yerde 1970’lerin sonlarına kadar ne bir bina ne de büyük bir sanduka vardı. Kabir, Harami Deresi’nde açıkta ve korumasız durumdaydı. Yerel bir rivayete göre bir çoban burada yalnızca kaybolmaya yüz tutmuş bir mezar taşı bulmuştu. Bu nedenle mezar doğanın içinde, neredeyse görünmez bir hâlde bulunuyordu. 1976 veya 1977 yılına kadar açıkta kalan mezar, daha sonra dört yerel erkek tarafından siyah taşlardan oluşan bir sıra ile çevrildi. 1995 yılına kadar alan yalnızca bu taş duvardan ibaretti. Ardından aynı kişiler mezarın üzerini kapatarak burayı türbe hâline getirdi. Daha sonra “Hisarcıklı Mehmet Emmi” adlı kişi yapıyı briketlerle ördü. 2009 yılında iş insanı Halil Hakkomaz eski yapıyı yıktırarak bugünkü türbe alanını yeniden inşa ettirdi. Bu düzenlemeyle türbenin yanında mescit, tuvaletler, çeşme ve çevre düzenlemesi de yapıldı.

Yapıyla ilgili bir isim karışıklığı da vardır. 2009’daki yenilemeden önce kapının üzerinde “İbrahim Sincancı” veya “İbrahim Sinancı Hazretleri” yazılı bir levha bulunuyordu. Bu kişinin kim olduğu bilinmemektedir. Levha daha sonra kaldırılmış, söz konusu ad halk hafızasından silinmiştir.