Willem Adriaan kocht in 1677 de ambachtsheerlijkheid Zeist en het vervallen middeleeuwse kasteel voor 5.000,00 gulden (ruim € 2.200,00) van de Staten van Utrecht en werd Heer van Zeist. Hij startte met de bouw van een lusthof met medewerking van de architecten Jacob Roman, Leidse stadsarchitect, later stadhouderlijk architect en Daniël Marot, een Franse hugenoot met een internationale faam. Het Slot Zeist is door Roman ontworpen in het Hollands Classicisme. Deze stijl is ontleend aan de 16e eeuwse villa’s in de Veneto van de Italiaanse architect Andrea Palladio. De zijvleugels en de tuinen van het slot zijn het eerst aangelegd, rond een hoofdas die nog steeds de plattegrond van Zeist bepaalt. De tuin, als een in de natuur geconstrueerde voortzetting van de architectuur, als metafoor van de plaats van de mens (de stichter) op aarde, aangelegd in geometrische figuren met verfijnde broderies en beelden. De beeldengroep aan de slotgracht, voorstellende Europa en Afrika van de Antwerpse beeldhouwer Albertus Xaverij, herinnert aan die filosofie. Deze beeldengroep had een pendant voorstellende Azië en Amerika. De beelden van deze vier werelddelen waren een verwijzing naar de status van Willem Adriaan: zijn paleis als het centrum van de wereld. De oorspronkelijke tuin en het slot (ex- en interieur) vormden dus een eenheid, ze staan op diverse gravures afgebeeld.