Der Hamburger Kaufmann Caspar Voght, angesehener Senatorensohn und gemeinsam mit seinem Freund Heinrich Sieveking Inhaber eines weltumspannenden Handelshauses, hatte keinen Sinn für den seinerzeit angesagten höfischen Stil barocker Gärten.

1785 kaufte der wohlhabende Hanseat im Vorort Flottbek zahlreiche Ländereien. Mithilfe britischer Landschaftsgärtner vereinte er vier Bauernhöfe und ließ eine einzigartige Anlage schaffen.

Für die Landarbeiter des Mustergutes ließ Voght zwischen 1786 und 1798 "Instenhäuser" errichten. Die liebevoll renovierten Häuschen sind denkmalgeschützt und rahmen den Derbyplatz ein.

1828 verkaufte der Baron das Gelände an Martin Johann Jenisch. Der Bankier, Senator und Wohltäter ließ das Jenisch-Haus errichten, seit 1955 eine Außenstelle des Altonaer Museums. 1939 kaufte die Stadt Hamburg Park und Haus, um eine Universität zu errichten. Zum damaligen Anwesen zählten der Westerpark (Derbyplatz), Norderpark (Botanischer Garten, Polo Club) sowie der Osterpark.