Nacido en Brooklyn (New York) en 1959, Marcus Miller se educó en el seno de una gran familia musical, dado que su padre era organista en la iglesia y director del coro. Con 13 años tocaba con habilidad el clarinete, el piano y el bajo, y daba sus primeros pasos en la composición. Se inclinó por el bajo eléctrico y antes de la mayoría de edad ya tocaba regularmente el bajo en los clubs de Nueva York en varios grupos. En la Gran Manzana fue muy solicitado como músico de sesión en los estudios de grabación trabajando con Aretha Franklin, Roberta Flack, Grover Washington Jr., Bob James y David Sanborn, entre algunos otros. En 1981 se unió a la banda del que era su ídolo desde la infancia, el trompetista Miles Davis, con quién permaneció dos años.