Saray Memlük ve Osmanlılarda yönetim binası, İngiliz yönetiminde polis karakolu olarak hizmet vermiştir. Memlükler döneminde 13.yy’ın ortalarında inşa edilmiştir. 2024’te Gazze Savaşı sırasında yıkılmıştır. 17.yy’da bölgenin en güçlü ailelerinden Rıdvan Ailesine, daha sonra Gazze valilerinin konakladığı saray olmuştur. Bu dönemde saray savunmaya yarayan aletlerle donatılmış ve bir nevi kaleye dönüştürülmüştür. Bu tahkimatı sebebiyle Napolyon 1799’da üç gününü burada geçirmiştir.

Evliya Çelebi, 1649’da Paşa Sarayı hakkında şunları yazmıştır: “Kale eski zamanlarda inşa edilmiş ve Buhtunnasır tarafından yıkılmıştır. Mevcut kale daha sonraki bir dönemden kalmadır. Küçük, dikdörtgen şeklindedir ve denizden bir saat uzaklıkta, doğuda yer alır. Duvarları yirmi metre yüksekliğindedir. Kıble yönüne açılan metal bir kapısı vardır. Tehlikeli bir yer olduğundan, komutan ve garnizonun nöbet görevlerini yerine getirmek için her zaman burada bulunması gerekir; burada Arap kabileleri ve düşman çoktur.”

Saray Mısır yönetimi sırasında kız okuluna dönüştürülmüştür. Daha sonra sarayın adı “Ez-Zehra Kız Ortaokulu” olarak değiştirilmiştir. Saray en sonunda müzeye dönüştürülmüştür.

Günümüzdeki halini Mart 2024’teki Gazze Saldırısında ağır hasarlı olarak almıştır.