Il débute sa carrière dans les clubs de Greenwich Village au milieu des années soixante où il chante des mélanges de soul, de rhythm'n'blues et de rock. Il forme un groupe qu'il nomme Grinder's Switch à la même période et enregistre son premier album en 1969.

Il poursuit ensuite sa carrière solo et se forge une véritablement réputation en 1980 avec la chanson "Matador" qui sera numéro 1 dans de nombreux pays d'Europe. Garland Jeffreys aime parler d'amour dans ses chansons et évoquer le racisme ambiant dans la société américaine. Pendant toute sa carrière, Garland Jeffreys a accompagné de nombreux artistes comme Lou Reed, John Cale (Velvet Underground), Sonny Rollins et encore Bob Dylan.

Le New Yorker l'on décrit comme « le musicien par excellence de la ville de New York » et « l'explorateur des liens entre le rock, la race et la rébellion ».

La critique encense ses albums et ses hits, dont Wild in the Streets et mettent en avant la richesse vocale et musicale du new-yorkais qui passe facilement du rhythm'n'blues, rock, au reggae et à la salsa.
Ses chansons ont été utilisées dans de nombreuses émissions de télévision et des publicités. Plus récemment, les musiques de Garland Jeffreys ont été présentées dans la série originale de Netflix de Baz Luhrmann intitulée « The Get Down ».