11.-12. yüzyılda Bizans Kalesi olarak inşa edilmiştir. Bizans İmparatoru I. Aleksios Komnenos’un 1082’de Venediklilerle yaptığı antlaşma sonrasında Venediklilere ait bir liman haline gelmiştir. 1275’te Bizans İmparatorluğu’nun Ceneviz’e devredilmesiyle Ceneviz yönetimine geçmiştir. Ceneviz kolonisinin varlığı, 1455’te Osmanlılar tarafından fethedilinceye kadar sürmüştür. Cenevizliler, kale surlarında onarımlar gerçekleştirmiş ve iki kule daha eklemiştir. Osmanlı fethinden sonra kale yeniden inşa edilmiş ve yeni kuleler eklenmiştir.
Beş Kapılar Kalesinde, ortadaki kapının üzerinde yer alan yazıtta şöyle denilmektedir: ”Bu mübarek yapı, Sultan Selim Şah oğlu, en büyük sultan, Arab ve Acem Meliklerinin efendisi, sultan oğlu Sultan Süleyman Şah’ın hükümdarlığı zamanında (Gökler ve yerler durdukça Allah onun devletinin ebedi ve mülkünü daim kılsın), Sultan Süleyman Şah’ın oğlu Sultan Mustafa’nın silahdarlar ağası (Allah’ın) zayıf kulu İskender eliyle yapıldı. Sene 945” (M.S.1538-1539)
