12. yy.’da kale olarak yaptırılan yapı, 1546’da saraya çevrilmiştir. 1682’de sergi salonuna dönüştürülen müze 1792 yılından beri müzedir. Günümüzde de dünyanın en büyük sanat müzesi olma özelliğini sürdürmektedir. Sen Nehri çevresindeki 365 hektarlık alanda bulunan tarihi ve mimari açıdan önemli yapılar 1991 yılında toplu şekilde UNESCO Dünya Mirası listesine dahil edilmişlerdir.