Die Drostei war ursprünglich Wohn- und Amtssitz des jeweils amtierenden Landdrosten. So hießen die hohen dänischen Beamten, die im 18. und 19. Jahrhundert die Grafschaft Pinneberg verwalteten - und sie gaben dem bedeutendsten Baudenkmal des Kreises Pinneberg auch seinen Namen.

Denn die Grafschaft Pinneberg war bis 1864 Teil des Königreichs Dänemark. Anschließend (bis 1933) lebte und arbeitete dort der Landrat des Kreises Pinneberg. Nach dem Zweiten Weltkrieg beherbergte der repräsentative Ziegelbau das Katasteramt. 1965 wurde das Haus unter Denkmalschutz gestellt, in den 80er-Jahren saniert.

Die Drostei gehört zu den ältesten Gebäuden der Stadt Pinneberg. Erbaut wurde sie 1765 bis 1767 im Stil des norddeutschen Backsteinbarock mit leichten Anklängen an den damals modernen Baustil Rokoko. Fachleute vermuten, dass der damals berühmte Architekt Ernst-Georg Sonnin am Bau beteiligt war.

Seit 1991 dient die detailgetreu restaurierte Drostei als Veranstaltungshaus für Ausstellungen, Konzerte und Lesungen.