Az épület terveztetője 1761-ben Grassalkovich Antal a Magyar Építészeti kamara elnöke volt, aki jelentős tállyai szőlőbirtokkal rendelkezett. A tervező Franz Anton Hillebrant, korának egyik legnagyobb osztrák építésze, aki 1757-től a Magyar Királyi Kamara vezető építészeként irányította a magyarországi állami építkezéseket. A terveken, amely a Grassalkovich család hédervári levéltárában megtalálható, 1761. május 29.-i dátumot találunk.
A kastély valaha a bárói család csinos és kényelmes lakóhelye volt.