Budowę zamku rozpoczął na przełomie XV wiek i XVI wieku, w stylu gotyckim starosta brzeski i kowieński Jerzy Illinicz. Około 1568 r. mirski zamek na mocy testamentu wnuka Jerzego Illnicza przeszedł w ręce książąt Radziwiłłów, którzy przebudowali go w stylu renesansowym. Wzdłuż wschodnich i północnych ścian zamku powstał pałac. Gipsowe fasady zostały udekorowane wapiennymi portalami, płytami, balkonami i gankami.

Forteca była niszczona przez Szwedów w 1655 i 1706 r. Odbudowana stała się rezydencją m.in. wojewody wileńskiego Karola Stanisława Radziwiłła, który znany był z wystawnych uczt. W epoce napoleońskiej zamek został opuszczony i częściowo zniszczony. W końcu XIX wieku budowla została ponownie odnowiona i zamieszkana. W 1813 r. po śmierci Dominika Radziwiłła zamek został przekazany jego córce Stefanii i jej mężowi Ludwigowi zu Sayn-Wittgenstein-Berleburg, a następnie w ręce ich córki Marii, która poślubiła księcia Chlodwiga Hohenlohe-Schillingfurst. Ich syn Maurice Hohenlohe-Schillingfurst sprzedał zamek w 1895 r. Mikołajowi Światopełkowi-Mirskiemu, herbu Białynia. Syn Mikołaja Michał Światopełk-Mirski rozpoczął przebudowę zgodnie z planami Teodora Bursze. Rodzina Światopełków-Mirskich miała w posiadaniu zespół obiektów do 1939 roku.
W pierwszym późnogotyckim etapie na początku XVI wieku, istniały tylko mury obwodowe, baszty i nieistniejący dziś budynek jednopiętrowy w południowo-zachodnim narożniku dziedzińca. W drugim etapie w połowie XVI wieku powstał parterowy, podpiwniczony budynek wzdłuż murów północnych i wschodnich. Ten budynek, w trzecim etapie rozbudowy, na początku XVII wieku został podwyższony do trzech kondygnacji i uzyskał pałacowy wystrój. Przy okazji zamurowano strzelnice, przebito okna i przekształcono średniowieczne korony murów. W pierwszej połowie XVII wieku zamek otoczono bastionowymi fortyfikacjami ziemnymi.
Obszar otaczający zamek został zaadaptowany na park.