1927년 구 소련 아제르바이잔 바쿠의 음악가 부모 밑에서 태어난 그는 13세 때 첫 연주회를 열었고, 16세에 모스크바음악원에 입학해 거장 쇼스타코비치와 프로코피예프에게 작곡과 지휘를 배운 뒤, 20대부터 최고 영예인 스탈린상을 받으며 성가를 높였다.
그러나 1970년 노벨문학상 수상자인 반체제 인사 솔제니친을 옹호하는 글을 공산당 기관지 '프라우다'에 보내면서 요주의 인물로 활동에 제한을 받자 1974년 미국으로 망명해 소련 시민권까지 박탈당했지만, 1990년 고르바초프 대통령에 의해 복권돼 다시 모스크바로 돌아와 고국에서 남은 생애를 마쳤다.
또 한국 첼리스트 장한나를 가르치는 등 수많은 어린 첼리스트들에게 다정다감한 선생님으로 정신적인 지주가 돼왔다.
로스트로포비치는 음악 뿐만 아니라 민주화에도 적극적으로 앞장서고, 아내인 소프라노 갈리나 비쉬네프스카야와 함께 아제르바이잔 어린이를 위한 건강 재단을 만들어 운영해오는 등 사회활동도 활발하게 펼쳐 존경과 사랑을 받아온 음악인이었다.