Carlsson foi membro do executivo de Olof Palme entre 1969 e 1986. Ocupou diversas pastas ministeriais e passou a exercer a presidência do próprio governo após a morte de Palme. Em 1987, assumiu também a liderança do Partido Social-Democrata sueco. Solicitou a admissão da Suécia à Comunidade Européia no meio de uma conjuntura econômica difícil. Sua derrota depois das eleições de 1991 interrompeu pela segunda vez a era de domínio social-democrata na Suécia (a primeira teve lugar entre 1976 e 1982), que durava desde o fim da Segunda Guerra Mundial. Depois de sua vitória nas eleições de 1994 e do resultado positivo no plebiscito que se realizou em 1995, a adesão da Suécia à União Européia tornou-se finalmente realidade. Em 1996, retirou-se da chefia do governo e do partido, cedendo ambos os cargos a seu colega de partido Göran Persson, até então ministro das Finanças.