Topakoğlu Konağı 19. yüzyılın ikinci yarısında inşa edilmiştir. Konağı yaptıran kişiye dair farklı rivayetler olsa da, yapının Papa Danil tarafından yaptırıldığı kabul edilmektedir. Zamanla el değiştiren yapı, adını mübadeleden sonra buraya yerleşen ailenin soyadından almıştır. İlk tasarımında konut işlevi gören konak, günümüzde Kültür ve Turizm Bakanlığı tarafından kamulaştırılmıştır.

Konağın mimari kurgusu iki katlı ve iki ayrı yapıdan oluşur. Bodrum ve zemin katında kayadan oyma şırahane ve bezirhane gibi işlevsel bölümler yer almaktadır. Açık avluya sahip olan yapıya, kuzey cephesindeki iki katlı revak düzenlemesinden geçilerek ulaşılan giriş kapılarıyla girilir. Batıdaki yapının kat silmelerinde yer alan bitkisel süslemeler ve istiridye motifli taş konsolcuklar, dönemin bezeme anlayışını yansıtır. Özellikle pencerelerin çevresini kuşatan, dantel inceliğinde işlenmiş taş oymacılığı dikkat çekici bir zarafete sahiptir. Yığma teknikle örülen duvarlarda taş, kapı, pencere ve tavanlarda ise ahşap malzeme kullanılmıştır.

Üst kata çıkan kapının üzerinde bulunan eski tip tabanca, tüfek ve hançer resimleri konağın dikkat çeken unsurlarındandır. İç mekânda iki önemli resim bulunmaktadır. Bunlardan ilki, başodanın sokağa bakan kuzeybatı duvarında, pencere ile tavan arasındaki alanda yer alır ve neresi olduğu kesin olarak belirlenemeyen bir Avrupa şehrini tasvir eder. İkinci resim ise bunun tam karşısındaki güney duvarda, süslemeli bir niş içerisinde sahil manzarası olarak işlenmiştir. Nişin kubbe kısmından aşağı doğru sarkan kırmızı perde betimlemesi, resme bakan kişide bir pencereden dışarı bakıyormuş hissi uyandırır. Bu yorumuyla resim, bölgedeki bir sakinin deniz özlemini sembolik bir biçimde yansıtır.

Topakoğlu Konağı bugün kütüphane olarak kullanılmaktadır.