All’inizio Hart si esibì a Washington, DC con artisti soul come Otis Redding e Sam e Dave, e successivamente con Buck Hill e Shirley Horn, e fu un sideman con i Montgomery Brothers (1961), Jimmy Smith (1964–1966), e Wes Montgomery (1966–1968). Hart si trasferì a New York nel 1968, dove registrò con McCoy Tyner, Wayne Shorter e Joe Zawinul, e suonò con Eddie Harris, Pharoah Sanders e Marian McPartland.
All’età di 76 anni, Billy Hart lavora costantemente e insegna. Dall’inizio degli anni ’90 Hart trascorre molto tempo presso il Conservatorio di musica di Oberlin ed è docente presso il Conservatorio di musica del New England e la Western Michigan University. Dirige inoltre il suo Quartetto con Mark Turner, Ethan Iverson e Ben Street.