Comenzó de la mano de su hermano Nat Adderley en la banda de Lionel Hampton. En el año 1957 se une al quinteto de Miles Davis y junto