Von 1901 bis 1910 ließ das deutsch-amerikanische Ehepaar Henry und Emma Budge eine bereits bestehende Villa am Harvestehuder Weg von Martin Haller mit großem Aufwand umbauen.

Aufgrund ihrer jüdischen Herkunft war Emma Budge in der NS-Zeit Repressionen ausgesetzt. Nach ihrem Tod 1937 brachten die NS-Behörden Haus, Grundstück und Kunstbesitz unter Missachtung des Testaments an sich.

Im Mai 1945 zogen britische Besatzungsbehörden in die Villa. Ausgerechnet der von den Nazis widerrechtlich eingesetzte Testamentsvollstrecker handelte 1952 mit Hamburg einen Vergleich aus, der es der Stadt erlaubte, das Grundstück für nur 22 500 Mark zu erwerben. Die Erben wurden darüber nicht informiert und erhielten auch das Geld nicht.

1956 zog dort die Musikhochschule ein. Der Spiegelsaal wurde 1980 in das Museum für Kunst und Gewerbe versetzt.

Im Mai 2010 hatten Anwälte im Auftrag der Erbengemeinschaft von der Stadt einen "angemessenen wirtschaftlichen Ausgleich für den Verlust der Grundstücke" gefordert.

Ein Vergleich zwischen der Stadt und den Erben dürfte nach Abendblatt-Informationen schon bald geschlossen werden.