Seit 1961 war der Sozialdemokrat Hamburgs Erster Bürgermeister. Trotz erfolgreicher Amtsführung trat er nach nur viereinhalb Jahren zurück. Der Grund waren die Trennung von seiner Frau Grete, mit der er drei Kinder hatte, und der Beginn einer neuen Liaison. Dies war öffentlich geworden, als Nevermanns Frau beim Besuch der Queen nicht mehr die "First Lady" geben wollte.