Şehri kuşatan surlar, 20. yüzyılın başlarına kadar ayakta kalmıştır. Sürekli yapılan onarımlar sayesinde korunan surların yıkımı için ilk girişimler 1870’lerde başlamıştır. Ancak bu planlar ertelenmiş, ilk büyük yıkım 1914’te gerçekleştirilmiştir. Gerekçe olarak surların şehrin havasız kalmasına ve sağlığı tehdit etmesine dair iddialar gösterilmiştir. Yıkım, Ali Paşa Sarayı çevresinden başlatılmıştır.