Armin Veh begann seine Trainerlaufbahn 1990 beim FC Augsburg. Bei den Schwaben blieb er bis 1995. Die SpVgg Greuther Fürth, der SSV Reutlingen und Hansa Rostock folgten als Stationen, ehe er 2003 ein zweites Mal als Trainer bei den Augsburgern anheuerte. In bester Erinnerung ist Veh jedoch aus seiner Stuttgarter Zeit, als er den VfB in seiner ersten Saison direkt zur deutschen Meisterschaft führen konnte. 2009 nahm er die Nachfolge von Felix Magath in Wolfsburg an, wurde allerdings nach wenigen Monaten wieder beurlaubt.