Eybert Tiefbrunn, ein Tuchhändler, ließ das heutige Stavenhagenhaus 1703 im Frustbergpark erbauen. Große gesellschaftliche Bedeutung bekam es, als Elisabeth Gossler, geborene Berenberg, das Anwesen 1793 kaufte. 1822 erwarb der Mediziner Wilhelm Schröder den Park, sein Enkel übernahm 1872.

Stück für Stück verkaufte dieser den Grundbesitz. Nach ihm übernahm der Lederfabrikant August Herbst die Villa. August Herbst musste das Anwesen aber 1928/1929 wegen der Wirtschaftskrise verkaufen. Die Stadt Hamburg wurde daraufhin neuer Eigentümer des Frustbergs in Groß Borstel.

Durch zahlreiche Einquartierungen während und nach dem Zweiten Weltkrieg verkam das Gebäude und wurde 1956 sogar für unbewohnbar erklärt. Die Bevölkerung kämpfte erfolgreich gegen den Abriss. Am 12. Oktober 1962 wurde das in neuem Glanz strahlende Haus dann feierlich eingeweiht.