Kaštieľ pôvodne slúžil ako obývaný mlyn a jeho najstaršia časť je datovaná k prelomu 16. a 17. storočia. Výstavba vodného mlynu reflektuje na dané roky, keďže obdobie 16. a 17. storočia sa nazýva aj érou vodného kolesa. V 18. storočí bol už objekt uvádzaný v archívnych materiáloch ako veľký mlyn s dvoma mlynskými kolesami, ku ktorému prislúchala záhrada a tiež vinohrady vo vlastníctve rodiny Schedius.
V registri kontribučných poplatkov z roku 1747/1748 sa uvádza, že Štefan Schedius odvádzal za mlyn poplatok 4 zlaté a Samuel Schedius 3,5 zlatého. V registri sú zapísaní aj mlynári. Existenciu dvoch mlynároch na jednom mlyne v spoluvlastníctve dvoch majiteľov vysvetľuje inzerát uverejnený 11. 1. 1775 v Pressburger Zeitung. Schediovský mlyn mal dva náhony a bol ponúkaný na predaj za 8 000 zlatých. Okrem mlynského zariadenia boli na prízemí 3 izby, 3 komory, 3 stajne, 2 kôlne, prešovňa a pivnica v skale. Na poschodí bolo 6 izieb, 2 kuchyne a jedáleň. K mlynu patrila aj veľká záhrada, strede ktorej tiekol potok, priliehajúci lesík, vinica a pole. Spomína sa aj zásoba starých a mladých vín a svätojurského výberu. Identický inzerát bol opakovaný aj 18. a 25. 1. 1775. Prípadní záujemcovia sa mali hlásiť u mešťanostu v Pezinku.
26. mája 1780 kúpil celý objekt (mlyn, záhradu, vinohrad Praindl, roľu) člen Uhorskej kráľovskej miestodržiteľskej rady šľachtic Antonius de Fogell s manželkou Jozefou de Vegeneth za 5 700 zlatých od dedičov vdovy po Štefanovi Schediusovi.
V priebehu 18. storočia prešiel areál z rúk do rúk viacerým majiteľom. 1800 Ondrej Fiala, 1809 Jakub Volfshendl, 1813 zeman Ignác Mayer, 1814 Ján Emreszi, 1889 Jozef Maier, 1894 Pavol Voda.
V polovici 19. storočia došlo k výraznejším úpravám obytných priestorov na poschodí severozápadného krídla, ktoré sa na fasádach prejavili úpravou okenných otvorov. Zväčšené okná boli doplnené o profilované nadokenné rímsy a omietkové šambrány. Dodnes sa zachovalo niekoľko okenných a dverných výplní, ktoré súviseli s touto modernizáciou.
V roku 1889 sa v objekte nachádzalo 17 miestností, z toho 7 uličných izieb, 1 izba dvorová, 2 komory, 2 kuchyne, 2 povaly a 2 stajne. V roku 1898 bolo v dome celkom 25 miestností, z toho 8 uličných izieb, 3 dvorové izby, 2 komory, 2 kuchyne, 1 pivnicu, 3 povaly, 1 dielňu, 3 stajne a 2 šopy.
V priebehu 19. storočia funkcia mlyna postupne zanikala, objekt sa využíval len ako obytné sídlo s hospodárstvom. V roku 1912 prešiel areál do rúk kancelára habsburského cisára – rytiera Arthura Polzera.
Ten ho prestaval podľa vtedajších romantických tendencií na sezónny lovecký kaštielik v duchu návratu k renesancii a zároveň premenil pôvodne hospodársku záhradu za kaštieľom na okrasnú záhradu s drobnými sochárskymi dielami, integráciou vodného prvku a pravidelnou okrasnou výsadbou.
Po rozpade monarchie kaštieľ rytier predal Československému štátu, ktorý objekt využíval od roku 1923 pre potreby vinárskej školy. Zmena funkcie si vyžiadala určité úpravy, pre školské účely však slúžil až do nedávnej minulosti.
Gróf Arthur Polzer Hoditz,
posledný majiteľ kaštieľa v Modre bol šľachtic, právnik, ministerský úradník, dôverník cisára Karola I. Habsbursko-Lotrinského. Narodil sa ako rytier 2.8.1870 v meste Ľvov (Ukrajina) grófke Marie Christine von Hoditz und Wolframitz a štátnemu úradníkovi Juliusovi von Polzer. Mal brata Ludwiga Polzer-Hoditza a sestru Máriu Jozefínu. Arthura spolu so súrodencami adoptovala teta – sestra jeho matky, Mathilde von Hoditz und Wolframitz.
Arthur študoval právo na univerzite v Grazi, kde v roku 1893 získal titul doktora práv. Najprv sa stal administratívnym úradníkom v Štajersku , ale v roku 1897 prešiel na cisárske a kráľovské ministerstvo vnútra a v roku 1900 na cisárske a kráľovské ministerstvo kultúry a školstva . Popritom od 1904 viedol kanceláriu pánskeho domu Ríšskej rady v Rakúsku. Od roku 1910 mal titul dvorného radcu. V roku 1905 bol spolu s arcivojvodom a budúcim cisárom Karolom I. v Brixene, kde sa venovali histórií Rádu Zlatého rúna. Neskôr v roku 1906 ho navštívil v Prahe v Hradčanoch a stál po jeho boku, keď ho korunovali za cisára 21.11.1916. Bol jeho dôverníkom a viedol jeho kabinet. Sprevádzal ho po cestách a bojiskách. Koncom júna 1917, však Polzer-Hoditz odmietol cisárovu ponuku stať sa ministerským predsedom. Na jeseň 1917 ho povýšili do grófskeho stavu. Spolu s cisárskym ministerským predsedom, grófom Heinrichom Clam-Martinicom, ministrom zahraničných vecí grófom Ottokarom Czerninom a šéfom generálneho štábu Arthurom Arzom von Strauβenburg tvorili jadro vtedajšieho vedenia štátu. Verili, že vojna čoskoro skončí a monarchia sa udrží. 23.8.1918 ho cisár menoval predsedom senátu súdneho dvora. Koncom októbra 1918 sa monarchia rozpadla. Polzer-Hoditz bol penzionovaný a v roku 1929 publikoval svoje spomienky na Karola I., ktoré boli preložené do taliančiny a francuzštiny.
Gróf Arthur Polzer-Hoditz, chcel byť už za mladi maliarom, ale k tejto záľube sa dostal až na penzii. Jeho manželkou bola Elisabeth Magdalena Jäger. Mali tri dcéry: Marie Christine, Elisabethu a Johannu.