İlçeye adını veren ve hâlen kullanılan Taş Köprü, Yağmur Bey’in oğlu Ali Bey tarafından Celaleddin Kötürüm Bayezid adına 1366 yılında yaptırılmış olduğu sanılmaktaydı. Ancak daha sonraki araştırmalarda köprünün bu tarihte yapılmış olamayacağı anlaşılmıştır.

Köprüden bahsedilen en erken kaynak, Strabon’dur.