Considerada por los aficionados al jazz como una de las diez mejores cantantes femeninas de todos los tiempos, el fraseo detrás del compás, el control vocal impecable y la forma ingeniosa y a veces cáustica de transmitir una letra son lo que la distingue como una cantante singularmente grandiosa. Ella consideraba a la gran Billie Holiday del jazz como una mentora musical. Pero esta Queen of Cool tenía su propio sonido y estilo; incluyendo una asombrosa habilidad para dispersarse. La versátil McRae podía columpiarse con fuerza cuando se le pedía; luego podía sacar una balada, saboreando cada nota y sílaba sin perder la atención del público, estaba en una clase sola.

McRae tuvo la suerte de haber sido criado por una familia lo suficientemente próspera como para permitirse un piano y clases. Desde el principio expresó un gran interés en una carrera como actriz. A los veinte años, su interés por la música había tomado el relevo y comenzó a cantar y a tocar el piano. Ya de joven era una mujer con algo que decir y a lo largo de su vida fue reconocida no sólo por sus talentos musicales sino también por su inmenso amor por la expresión verbal a través de las letras musicales.

Su primer descanso fue ser contratada como pianista en el mundialmente famoso Minton's Playhouse de Harlem, un club de jazz. Conoció a muchos de los mejores músicos de jazz moderno de la época. Una influencia importante fue la compositora Irene Wilson, quien le presentó a Billie Holiday. Wilson continuó animando a McRae a escribir música; uno de los primeros intentos de McRae de escribir canciones, "Dream of Life", fue grabado por Billie Holiday en 1939.

El primer compromiso importante de McRae fue como vocalista para la orquesta de Benny Carter en 1944, luego pasó a trabajar con las bandas de Count Basie y Earl Hines entre 1944-46. Los períodos de 1946-47, apareció y grabó con la banda de Mercer Ellington (Grabado bajo el nombre de "Carmen Clarke."Se casó brevemente con el innovador del bebop Kenny Clarke en 1946-49, donde también adoptó el estilo técnicamente difícil del bebop como sólo unos pocos cantantes podían hacerlo en ese momento.

Aunque trabajaba regularmente frente a combos y se acompañaba a sí misma al piano en Minton's, estaba en un concierto en Brooklyn cuando fue descubierta y firmada por Decca Records. Decca lanzó su primer álbum como líder, "Carmen McRae", en 1954, lo que llevó a la revista Down Beat a votar por su "Mejor nueva vocalista femenina de 1954", un año en el que hubo mucha competencia por ese puesto.

Sus cinco años de asociación con Decca sirvieron tanto para convertirla en una auténtica estrella de la canción como para producir lo que en última instancia resultaría ser la serie de grabaciones más excelente de toda su carrera de cuarenta años. Estos doce LPs, de hecho, se encuentran entre los mejores discos vocales de todos los tiempos. McRae es a la vez fresco y vanguardista, afilado, relajado y oscilante, colocando todo tipo de material en todo tipo de ambientes. Estos van desde tríos dirigidos por el pianista Ray Bryant en "After Glow", o su propio piano "By Special Request", hasta grandes bandas de swing dirigidas por Tadd Dameron en "Blue Moon", Ralph Burns en "Torchy", o Ernie Wilkins en "Something to Swing About","una orquesta de cuerdas de tamaño completo "Book of Ballads", "When You're Away", y grupos experimentales de jazz con elementos tan inusuales como el acordeón "By Special Request" y el violonchelo "Carmen for Cool Ones".” También aborda temas tan inusuales para una cantante de jazz como, en "Mad About the Man", las canciones de Noël Coward, y, en "Birds of a Feather", canciones sobre nuestros amigos emplumados.

A medida que pasaron los años, desarrolló una actitud cada vez más cansada del mundo en su canto. Por el contrario, la frescura y vitalidad de estos, sus primeras grabaciones notables, es notable. Estos temas anunciaban la llegada de un nuevo e importante artista, cuya luz no se ocultaría más, y casi cincuenta años después conservaron su poder.

Ella continuaría grabando prolíficamente a un ritmo constante con un promedio de al menos un disco por año hasta 1990. En Decca, Carmen McRae se estableció como una perfeccionista versátil. Si el material era hard-bop outré o clásicos del Gran Cancionero Americano, ella hizo que el difícil negocio de comunicarse con el oyente en un nivel más profundo sonara como si fuera fácil.

La carrera de Carmen alcanzó grandes alturas, una gran hazaña para un músico de jazz. Grabó, actuó a nivel nacional y realizó giras internacionales por Europa y Japón. Fue elegida para participar en la audaz opereta de jazz de Dave Brubeck, "The Real Ambassadors". otros intérpretes en esta obra singular que fue básicamente una protesta política contra la guerra y en apoyo de los derechos civiles fueron Louis Armstrong y el trío de armonía de Lambert, Hendricks y Ross. "Dios bendiga al niño", de Brubeck, "Take Five", y "I've Got You Under My Skin" se convirtieron en sus melodías favoritas mientras cultivaba una gran base de fans internacionales.

El Great American Music Hall de San Francisco fue el lugar de dos de sus últimos grandes logros. 1987 trajo un álbum de dúos en vivo aclamado por la crítica con la cantante de jazz de vanguardia Betty Carter, y también hizo "Fine and Mellow, Live at Birdland West", el mismo año. Una de sus últimas grandes grabaciones fue "Carmen Sings Monk" de 1988, a la que siguió un homenaje a su íntima amiga Sarah Vaughan, "Sarah, Dedicated to You", en 1990. Dejó un legado grabado de más de cincuenta álbumes hasta el momento de su muerte, y luego hay más de veinte más publicados desde entonces, más de setenta y cinco en total, bastante impresionante por cualquier estándar.

Fumadora de toda la vida, diagnosticada con enfisema, anunció su jubilación en 1991, después de colapsar tras una actuación en el venerable club de jazz Blue Note de Nueva York. Ella sobrevivió sólo cuatro años más, muriendo en 1994.

En enero de 1994, Carmen recibió el Premio Jazz Master de la National Endowment for the Arts. Era una experta en ritmo, fraseo hábil y baladas personales agridulces. Su enigmática y oscura voz de contralto se basaba en la irónica interpretación de las letras que la ha colocado entre el panteón de las cantantes femeninas de jazz.