Die "Zentrale Stelle der Landesjustizverwaltungen zur Aufklärung nationalsozialistischer Verbrechen" wurde am 6. November 1958 gegründet. Hintergrund war der gerade beendete Prozess um die Ulmer Einsatzgruppen, der ein schweres Defizit in der Strafverfolgung aufgezeigt hatte: Ein Großteil der NS-Verbrechen, denen ausländische Staatsbürger zum Opfer gefallen waren, war noch nicht geahndet worden. Diese Taten hatten sich ursprünglich die Besatzungsmächte zur Aburteilung vorbehalten. Als sie sich zurückzogen, tat sich eine Lücke in der Zuständigkeit auf, die die "Zentrale Stelle" schließen sollte.

Als erster Leiter wurde Erwin Schüle berufen. Er musste Ende 1966 zurücktreten, nachdem bekannt geworden war, dass er der NSDAP und der SA angehört hatte. Die Wirkung war katastrophal: Alte Nazis, hieß es im In- und Ausland, hielten in Ludwigsburg die Hand über alte Nazis. Schüles Nachfolger Adalbert Rückerl brauchte lange, um die Reputation der Behörde wiederherzustellen. Seit sieben Jahren leitet der Stuttgarter Oberstaatsanwalt Kurt Schrimm die "Zentrale Stelle", die im ehemaligen Frauengefängnis von Ludwigsburg untergebracht ist - zusammen mit einer Außenstelle des Bundesarchivs, das seit dem Jahr 2000 jene Ermittlungsakten in seine Obhut übernimmt, die nicht mehr für die Strafverfolgung benötigt werden.