Filho de Erich Kleiber, também maestro, Carlos passou a infância e a adolescência na Argentina. É um dos maestros mais importantes da atualidade. Desde 1973 só atua como maestro convidado de diversas orquestras, sem ocupar o cargo de diretor permanente de nenhuma delas. Destacam-se, na ópera, o seu Otelo, em São Francisco (1977), e La Bohème, na Ópera de Viena (1985). Ocupou o primeiro cargo em Potsdam em 1954, seguindo para Düsseldorf (1956-1964), Zurique (1964-1966) e Stuttgart (1966-1968). Seu último cargo foi como diretor da Ópera da Baviera, em Madri (1968-1973).