Né en 1949 à Durban, Gordhan s'était engagé en politique dès ses études de pharmacie à l'Université de Durban-Westville, alors réservée aux Sud-Africains d'origine indienne.
Il rejoignit rapidement le Natal Indian Congress, jouant un rôle dans la lutte contre l'apartheid aux côtés de l'ANC de Nelson Mandela et de Cyril Ramaphosa. Son activisme lui avait valu plusieurs arrestations dans les années 1980.
En tant que ministre des Finances entre 2009 et 2017, Gordhan devint un symbole de la lutte contre la corruption, s'opposant frontalement au président Jacob Zuma, englué dans des scandales financiers, ce qui aboutit à son limogeage en 2017.
Le dernier poste de Gordhan, ministre des Entreprises publiques, fut marqué par des efforts pour éradiquer la corruption dans les entreprises d'État, bien que de nombreux observateurs estiment qu'il n'ait pas réussi à redresser la situation.