Brown naît à Cordele (Géorgie). Dans les années 1930-1945, il joue de l’harmonica dans des clubs locaux ne produisant que des enregistrements non commerciaux, dont notamment « I'm Gonna Make You Happy » en 1943 qui a été enregistré lors du festival folk à Fort Valley (Géorgie). En 1956, il déménage à New York et se fait remarquer par Bobby Robinson, patron de Fire Records. En 1959, âgé de 48 ans, il enregistre un blues très rustique « Fannie Mae » accompagné à l'harmonica, tout en poussant de grands cris. Le morceau entre dans les charts américains à la 38ème place et se placera n° 1 dans les charts R'n'B en avril 1960. Une reprise de Louis Jordan, « Is You ou Is Yiou Ain't My Baby », atteint la 81ème place dans les charts pop en 1960 mais sera absente dans les charts R'n'B. Un autre morceau « Sugar Baby » atteint la 19ème place dans les charts R&B et 99ème dans les charts pop. Il coécrit un morceau « Docteur Brown » avec J.T. Brown qui sera ensuite repris par Fleetwood Mac sur leur album sorti en 1968. Buster Brown meurt à Brooklyn en 1976, à 64 ans.