"A fehérvárcsurgói kastélyt magába foglaló birtok története meglehetősen régre nyúlik vissza. 1834-ben a Perényi család zálogosította el Károlyi György grófnak ami 1853-ban, vásárlás útján végleg a Károlyiak kezébe került.
A csurgói kastély építése annak a Heinrich Kochnak a tervei alapján történt aki az angol klasszicista stílusú pesti Károlyi palota átépítését is végezte. A Bécsben élő építészt Ybl Miklós képviselte, aki mint a Károlyi család építésze a művezetéssel kapcsolatos tervezésben vett részt.
Gróf Károlyi György 1877-ben bekövetkezett halála után Csurgót a másodszülött fiú, Viktor örökölte, korai halála után pedig a kastély tulajdonosa idősebbik testvére, Károlyi Gyula lett. Az ő idősebbik fia volt Károlyi Mihály a fiatalabbik pedig Károlyi József, aki a jelenlegi vagyonkezelő nagyapja volt.
A kastélyt a családnak 1944-ben el kellett hagynia. A háború alatt katonák használták,majd a második világháború után a kastélyt és birtokot államosították, ezt követően először üdülőként, majd gyermekotthonként üzemelt. 1980-ban kezdődtek meg az állagmegóvási munkafolyamatok, és 2007-ig helyreállították a két pavilont és két szárnyat, majd 2011-ben a főépület is átadásra került. "
A kastély idegenvezetéssel látogatható.
A Fejtő Ferenc könyvtár több mint 6000 kötetet tartalmaz francia, magyar, angol, olasz és német nyelven.
"Az 1944 után Argentínában, Franciaországban és Svájcban élő történész, genealógus és heraldikus, Vajay Szabolcs (1921-2010) szakmai hagyatéka a Károlyi József Alapítványhoz került megőrzésre. A fehérvárcsurgói Károlyi-kastélyban elhelyezésre került hagyaték két részből áll: a mintegy 6000 kötetes könyvgyűjteményből, melynek a díszkönyvtár-terem ad otthont, valamint Vajay Szabolcs teljes személyes hagyatékából (levelezés, anyaggyűjtés, fogalmazványok)."
A kastély gyakran filmforgatások helyszíne, a korabeli kosztümök a filmesek hagyatéka.
A kastélyt 50 hektáros ősfás park öleli körbe.
