Das als Wasserburg um 1300 errichtete Schloss ist das einzige erhaltene säkulare Mittelaltergebäude des Landkreises Harburg. Herzog Otto der Strenge hielt es anfangs in Privatbesitz -geschützt durch einen Wall, zwei Wassergräben und eine östliche Zugbrücke, die durch das jetzt wieder entdeckte Torhaus gedeckt wurde. Während des Lüneburgischen Erbfolgestreits hielt das Bauwerk 1371 einer Belagerung stand. In der Folgezeit wurde die Burg zum Schloss ausgebaut, zeitweilig wegen Geldmangels der Lüneburgischen Herzöge verpfändet. Spätestens seit 1503 war es Sitz des Amtes Winsen. Von 1592 bis 1617 diente das Schloss zudem als Witwensitz der Herzogin Dorothea - sie ließ das Haus umfangreich restaurieren und umbauen.