Top Kapısının iki deniz ve iki kıtaya hâkim ayrıcalıklı konumundan dolayı kapının önüne, Sultan I. Selim (1512-1520) döneminde Mermer Köşk ismiyle bilinen seyir köşkü yaptırılmıştır. 18. yüzyılda, bu köşk yerine, kapının iki yanındaki kuleler yıktırılarak, Sultan I. Mahmud (1730-1754) tarafından ahşap bir yazlık saray inşa edilmiştir.