Plungės dvaras, minimas rašytiniuose šaltiniuose nuo 1565 m., iki pat XX a. pradžios buvo svarbi aristokratų, dvasininkų, talentingų kultūros ir meno žmonių rezidencija. Nors dvaro valdytojai nuo XVI amžiaus nuolat keitėsi, ši valda išliko svarbiu kultūros centru.
Senieji dvaro rūmai stovėjo priešais dabartinius centrinius rūmus. Dviejų aukštų pastato pirmasis aukštas buvo mūrinis, antrasis - medinis. Rūmų priekį puošė keturios ąžuolinės kolonos. Yra žinoma, kad šiuose rūmuose, keliaudamas palei vakarinę imperijos sieną, lankėsi ir Rusijos caras Aleksandras I. 1807 m., ruošiantis karui su Rusija, Aleksandras I nusprendė susipažinti su vakarine imperijos siena ir atvyko į Plungę, kur buvo iškilmingai sutiktas prie senųjų dvaro rūmų.
Plungė su visomis valdomis 1806 metais buvo parduota grafui Platonui Zubovui. 1873 m. Zubovai dvarą pardavė kunigaikščiui Mykolui Oginskiui (1849-1902). Kunigaikštis nutarė statytis naujus rūmus, tad senuosius nugriovė. Iš likusių statybai tinkamų medžiagų buvo suręstas didelis namas prie pagrindinių parko vartų, dabartinėje Dariaus ir Girėno gatvėje. Oginskių laikais čia veikė senelių prieglauda (vadinamasis ubagynas).
Aukso amžius valdant Oginskiams
Dvaro aukso amžius prasidėjo, kai Plungę ir jos apylinkes 1873 m. įsigijo kunigaikštis Mykolas Oginskis. Kunigaikštis šiaurinėje parko dalyje pastatė dabartinius dvaro rūmus, kurių architektas - vokietis Karlas Lorencas. Rūmai iškilmingai pašventinti 1879 m. Centriniam pastatui pasirinktas tuomet madingas neorenesansinis stilius. Nuo tada Plungės dvaras išgyveno tikrą aukso amžių.
1879 m. Oginskiai pastatė didingus italų neorenesanso stiliaus rezidencinius rūmus, garsėjusius savo grožiu ir kultūrine veikla. Puošnų rūmų ansamblį, organiškai įsikomponavusį į seną natūralaus miško vietoje suformuotą ir dviem tvenkinių grandinėmis paįvairintą mišraus stiliaus parką, suprojektavo vokiečių kilmės architektas Karlas Lorenzas.
Architektūriniu ansamblio akcentu tapę rūmai su dviem oficinomis ir priešais rūmus stovintis neogotikos stiliaus žirgynas įkurti šiaurinėje aukščiausioje ir vaizdingiausioje parko dalyje. Vakarinėje oficinoje (ji kairėje pusėje) Oginskių laikais buvo svečių kambariai. Ten gyvenusios ir auklės vienuolės, kurios dirbo kunigaikščių išlaikomoje našlaičių prieglaudoje. 1883 m. atidaryta dviklasė lietuviška mokykla. Prie šio pastato, pievutėje buvusi didelė apšildoma oranžerija ir Oginskių šeimos koplytėlė.
Rytinė (stovinti dešinėje pusėje) oficina buvo skirta dvaro administracijai - čia dirbo buhalteris, kvapus skleidė virtuvė.
Centrinių rūmų vidus įrengtas 1882-1885 m. Jį dekoravo Kazimiero Sommerio stiuko (apdailos, skulptūros medžiaga iš gipso, kalkių, klijų ir smėlio ar marmuro miltelių) dirbtuvių meistrai iš Varšuvos. Interjerui išskirtinumo suteikė lipdytos detalės, tapybos pano, puošnios krosnys, kolekciniai baldai. Ypatingas rūmų išskirtinumas - stogą puošiančios antikinio stiliaus skulptūros.
Kultūros ir švietimo centras
XIX-XX a. pr. Kunigaikščio Mykolo Oginskio dvaro rūmai, statyti XIX a. pab., garsėjo kaip svarbus Žemaitijos kultūros ir švietimo centras. Beje, tęsdamas muzikines Oginskių giminės tradicijas, kunigaikštis 1873-1902 m. dvare buvo įsteigęs orkestro mokyklą, kurioje mokėsi dailininkas ir kompozitorius Mikalojus Konstantinas Čiurlionis.
1879-1902 m. čia veikė M.Oginskio įsteigta dvaro orkestro mokykla, kurioje mokėsi ir iškilus dailininkas bei kompozitorius Mikalojus Konstantinas Čiurlionis.
Po M Oginskio mirties 1902 m. rūmų kompleksą toliau prižiūrėjo jo žmona. 1903 m. ji įkūrė M. Oginskienės daraktorių mokyklą, 1905 m. įsteigė mokyklą dvaro tarnautojų vaikams, globojo senelių prieglaudą, ligoninę, išlaikė vaikų darželį.
Kunigaikščio Mykolo Mikalojaus Severino Marko Oginskio (1849-1902) rūmų ir parko ansamblis laikomas vienu gražiausių XIX-XX a. sandūros rezidentinių dvarų kompleksų Lietuvoje.
Dvaro sodybos pastatų ansamblį supa vaizdingas 58,3 ha ploto mišraus stiliaus parkas, kaip manoma, XVIII a. įkurtas šventojo miško-alko vietoje. Iki šiol čia tebeveši senų ąžuolų grupės, tebežaliuoja legendomis apipinti medžiai - Perkūno ąžuolas, Verkiančioji liepa, penkiakamienis uosis. Neatsiejama senojo parko peizažo dalis ir vinguriuojanti Babrungo upė bei dvi parko tvenkinių sistemos.
Atvykę į Plungės dvaro sodybą, išvysite meistriškai suprojektuotus neorenesansinio stiliaus rūmus ir dvi oficinas, vieną gražiausių bei didžiausią žirgyną Lietuvoje, Florencijos stilių imituojančią vilą su oranžerija, taip pat skalbėjos, advokato bei du sargo namelius. Jūsų apsilankymą dvare akylai stebės monumentaliuose parko vartuose architekto Karlo Lorenzo įkurdinti Oginskių giminės senumą bei kilmę liudijantys viduramžių riteriai bei Žemaičių herbo simbolis - meškos, laikančios skydus su Oginskių herbu.
Žemaičių dailės muziejus
1994 metais dvaro rūmuose įkurtas Žemaičių dailės muziejus. Ekspoziciją sudaro užsienyje ir Lietuvoje gyvenančių žemaičių dailininkų dovanoti tapybos ir grafikos darbai, ikonografinė ir etnografinė medžiaga apie Plungės krašto istoriją; XIX a. liaudies meno kūriniai. Buv. Žemaičių kultūros draugija. Žemaičių dailės muziejus.
Nuo 1994 m. rūmuose veikia Žemaičių dailės muziejus, reprezentuojantis XX a. antrosios pusės - XXI a. pradžios žemaičių dailę, o taip pat dvaro bei Oginskių istoriją.