Im Jahr 1137 wird Harburg zum ersten Mal erwähnt: die Horeburg (Sumpfburg). Um 1200 entsteht der Pfad, der noch heute als Harburger Schloßstraße existiert. 1297 erhält die Siedlung als Teil Braunschweig-Lüneburgs die Stadtrechte. 1396 wird die Burg schwer beschädigt, bis 1403, unter Lüneburger Herrschaft, wiederaufgebaut. 1527 ist die alte Horeburg das Harburger Schloß , Residenz der Braunschweig-lüneburgischen Herzöge. Die wirtschaftliche Bedeutung steigt, als Harburg 1529 das Marktrecht und 1539 einen Holzhafen erhält.

Während des Dreißigjährigen Krieges (1618-1648) wird das Schloß zur Barockfestung umgebaut, die Schloßinsel erhält ihre fünfeckige Sternform. Als Harburg an Hannover fällt, wird das Schloß Sitz der Regionalverwaltung. Während der französischen Belagerung im Siebenjährigen Krieg (1756-1763) und 1813 durch Napoleon wird es schwer beschädigt, später dient es zeitweise als Gefängnis und Amtsgericht. Im 19. Jahrhundert werden die Festungsanlagen zerstört. 1897 erwirbt die Werftfamilie Holtz das Gelände.

Der Ostflügel wird Verwaltungsgebäude, der Westflügel ein Mietshaus, das heute noch steht. 1972 wird der Ostflügel abgerissen.