Ülgün Kalesi ilk olarak MÖ 3. yüzyılda bölgede yaşayan Iliryalılar tarafından inşa edildi. O dönemden kalan duvar kalıntıları hâlen mevcuttur. Bölge MÖ 163 yılında Romalılar’ın eline geçti. Roma İmparatorluğu’nun parçalanmasından sonra şehir Bizans’ın hâkimiyeti altına girdi. Roma ve Bizans Dönemi’nde Ülgün önemli bir ticaret ve liman şehri oldu. 11. yüzyıldan itibaren bölgeye Bulgar ve Sırp saldırıları gerçekleşti. Bölgede 1405 yılında başlayan Venedik egemenliği 1571 yılına kadar devam etti. Osmanlılar II. Selim Dönemi’nde 1571 yılında Venedikliler’i mağlup ederek Ülgün, Bar ve Budva kalelerini ele geçirdiler.

1877-1878 Osmanlı-Rus Savaşı sonrasında imzalanan antlaşmalar neticesinde Avrupa devletleri Ülgün’ün Karadağ’a terkine karar verdiler. Ülgün ahalisi bu karara karşı direnmiş ise de Avrupa Devletleri bölgeye muhtelit bir donanma göndermiş ve 1880 yılında Ülgün Osmanlı Devleti’nden ayrılarak Karadağ’a teslim olunmuştur.