MÖ 5. yüzyıldan itibaren Kavala şehri bir savunma duvarıyla çevriliydi. Bu sur zaman içinde defalarca değişikliğe uğramıştır. Roma döneminden sonra İmparator Julian (361-363), ardından Justinianus ve 926 yılında Strymon Teması generali Basil Cladon tarafından kapsamlı değişiklikler ve onarımlar yapılmıştır.

Büyük bir değişiklik 1307 yılında Andronikos II Palaeologos döneminde denizden tepeye kadar uzanan uzun surların inşa edilmesiyle gerçekleşmiştir. Surlar, daha önce Justinianus tarafından Anastasioupolis’e uygulanan modeli izleyerek şehrin su kaynağını da içine almıştır.

Bizans kalesi 1391 yılında Türkler şehri ele geçirdiğinde tamamen yıkılmıştır.

Kale 1425 yılında Osmanlılar tarafından yeniden inşa edilmiştir ve bugün gördüğümüz kale çoğunlukla bu yeniden inşanın sonucudur.

Kastrologos, Fortress of Kavala