Istoriniuose šaltiniuose užfiksuota, kad XVI a. dabartinių Radvilų rūmų vietoje, sode už miesto gynybinės sienos, stovėjo Mikalojaus Radvilos Juodojo mediniai rūmai. XVII a. viduryje Lietuvos didysis etmonas, Vilniaus vaivada Jonušas Radvila (1612–1655) pagal architekto Jono Ulricho projektą 1646 m. pradėjo mūrinių rezidencinių rūmų, pakeitusių buvusius medinius rūmus, statybas. Renesansinių formų, manieristinio dekoro „U“ raidės plano rūmus sudarė keturi dviaukščiai korpusai, kampuose sujungti penkiais trijų aukštų paviljonais. Vidinis kiemas iš pietvakarių pusės buvo užtvertas neaukšta mūro tvora su dvejais vartais. Tokie rūmai pavaizduoti vokiečių medalininko Sebastiano Dadlerio (1586–1657) medalyje, nukaltame Jonušo Radvilos inauguracijos į Vilniaus vaivadas 1653 m. proga. Nors spėjama, kad medalio sukūrimo laikotarpiu rūmai dar nebuvo baigti statyti (taigi, ten matomas vaizdas – siekiamybė, o ne realus rezultatas), S. Dadlerio medalis yra vienintelis ikonografinis šaltinis, leidžiantis įsivaizduoti, kaip rūmai galėjo atrodyti XVII a.
Pačių prašmatniausių ir moderniausių to meto rūmų mieste klestėjimo laikotarpis truko labai neilgai: XVII a. vidurio ir XVIII a. pradžios karai bei gaisrai juos smarkiai nuniokojo. XIX a. pradžioje tuometinis rūmų savininkas Dominykas Radvila (1786–1813) apleistus, negyvenamus rūmus perleido Vilniaus labdarių draugijai, kuri čia tvarkėsi iki 1940 metų. Šeimininkaujant labdariams, sunykę rūmų korpusai buvo nugriauti ar iš pagrindų perstatyti.
Rūmų teritorija smarkiai kito ir XX a. Pietinės rūmų dalies vietoje palei šiandieninę Liejyklos gatvę 1912 m. ant rūmų griuvėsių iškilo puošnus istorizmo stilistikos triaukštis pastatas, kuriame įsikūrė Žydų teatras, už centrinio paviljono 1930 m. pastatytas erdvus sandėlio tipo pastatas, pritaikytas teatro reikmėms.
Antrojo pasaulinio karo metu nukentėjo namai prie Vilniaus gatvės. Po karo buvo priimtas sprendimas jų likučius nugriauti, todėl dabar šioje vietoje yra atvira erdvė, atvėrusi rytinį rūmų korpusą, nes nebeliko priešais jį buvusio XIX a. viduryje susiformavusio užstatymo.
Iš buvusių didingų Jonušo Radvilos rūmų mūsų laikus pasiekė du trijų aukštų paviljonai ir juos jungę du dviaukščiai korpusai su beveik originaliais fasadais. Deja, vieną iš išlikusių paviljonų 1965 m. susprogdino „Mosfilmo“ kinematografininkai, Vilniuje filmavę karinio siužeto filmą „Kaip dabar jus vadinti?“ (Как вас теперь называть?). Išlikę rūmų pastatai pritaikyti administracinėms, mokymo reikmėms, seniausiame – rytiniame – korpuse įrengtas bendrabutis, sandėlyje – lengvosios atletikos maniežas.
1967 m. Radvilų rezidenciniuose rūmuose pradėti restauravimo darbai. Tuomet buvo likę tik du rūmų korpusai (šiaurinis ir rytinis) bei vienas – šiaurinis – paviljonas. 1984 m. pagal S. Dadlerio medalyje matomą vaizdą buvo atstatytas ir antras – vakarinis – paviljonas (archit. Evaldas Zulonas). Restauruotoje rūmų dalyje įsikūrė „Žinijos“ draugija, o nuo 1990 m. veikia Lietuvos dailės muziejaus padalinys – Radvilų rūmų muziejus.
Iš pradžių muziejaus salėse veikė vaizduojamojo meno parodos, buvo įrengta Radviloms skirta ekspozicija, supažindinanti su šios giminės istorija ir iškiliausiais jos atstovais. 1994 m. restauruotoje Radvilų rūmų dalyje pradėta kurti užsienio šalių dailės galerija – eksponuota XVI a.–XX a. pradžios italų, prancūzų, flamandų, olandų, ispanų, vokiečių, austrų, lenkų, rusų dailė. 2002 m. muziejaus reikmėms pritaikius ilgą laiką „Žinijos“ draugijos reikalams naudotą konferencijų salę, išsiplėtė parodoms skirtas plotas, susidarė galimybė šiuose rūmuose organizuoti daugiau kultūrinių renginių.
2020 m. spalio 9 d. po nedidelės renovacijos atsinaujinęs Radvilų rūmų dailės muziejus atvėrė duris su nauja ilgalaike paroda „Protesto menas: sovietmečio nepaklusnieji“. Naują muziejaus kryptį į pasaulinį meną žyminčioje parodoje pristatyta pasaulinio garso džiazo muzikanto ir menininko Vladimiro Tarasovo penkis dešimtmečius kaupta kolekcija. Ją menininkas, dosnus mecenatas 2020 m. sausio 6 d. padovanojo Lietuvos nacionaliniam dailės muziejui.
Kurti Radvilų rūmų dailės muziejaus bendrųjų erdvių ir pirmosios parodos architektūrą buvo pakviesti studijos „Išora X Lozuraitytė“ architektai Petras Išora ir Ona Lozuraitytė. Dueto projektams būdinga atida vietos istoriniam ir kultūriniam krūviui lėmė unikalų ir pagarbų rūmų erdvių sprendimą, ne tik iš naujo aktualizavusį šimtmečiais besiklosčiusią rūmų komplekso raidą, bet ir pritaikiusį pastatą šiuolaikinio muziejaus poreikiams. Be ilgalaikės ekspozicijos „Protesto menas: sovietmečio nepaklusnieji“, šiame korpuse lankytojų laukia keičiamos istorinio bei šiuolaikinio meno parodos, renginiai, edukacinės veiklos.
2021 m. gegužės mėnesį paskelbtas Jonušo Radvilos rūmų pastatų komplekso ir jo prieigų Vilniuje tarptautinis architektūrinio projekto konkursas, kurio tikslas – atgaivinti istorinę rūmų komplekso struktūrą ir sukurti daugiafunkcinę kultūrinę erdvę. 2021 m. lapkritį paaiškėjo, kad iš daugiau nei 30 iš viso pasaulio pateiktų projektinių pasiūlymų geriausiai paveldosaugos, architektūros ir muziejaus reikalavimus atitinkančią rūmų idėją pasiūlė Vytauto Biekšos vadovaujamas Lietuvos architektų biuras „Processoffice“ su projektu RRUMAI (su projektu galite susipažinti čia).
Nors rūmų komplekso atkūrimo procesas dar tik įsibėgėja, 2023 m. kovo 15 d. lankytojams duris atvėrė 1912 m. statytas pietinis rūmų korpusas greta Liejyklos gatvės, iki tol naudotas eksponatų saugykloms. Rekonstrukcijos metu atnaujintos įspūdingos laiptinės, atidengti sienų tapybos fragmentai, kiti XX a. pradžios interjero bei eksterjero elementai. Šiame korpuse eksponuojama ilgalaikė senosios Vakarų Europos tapybos paroda „Gyvastingieji senojo pasaulio profiliai“, vyksta keičiamos parodos, įvairaus amžiaus ir poreikių lankytojai laukiami edukaciniuose užsiėmimuose.
