現代奧林匹克運動傳入中國并取得發展，經歷了一個漫長的過程。1894年，第1屆奧運會籌備時，國際奧委會曾向中國發了邀請。當時的清王朝對奧運會一點兒也不了解，沒有回復。1906年，著名的教育家張伯苓在天津學界運動會發獎儀式上，以奧林匹克為題發表了著名演說，建議中國也應組隊參加奧運會。1908年，倫敦奧運會后，天津一家報紙再次介紹奧林匹克運動的歷史，還提出了要爭取這一體育盛會在中國舉行的主張。1910年，在“爭取 早日參加奧運會”和“爭取早日在中國舉辦奧運會”的口號鼓舞下，在南京舉辦了中國歷史上第一次全國運動會——“全國學校區分隊第一次體育同盟會”。1913年開始舉辦的遠東運動會，是奧林匹克運動在亞洲的先驅，中國是發起者之一。在遠東運動會上，中國運動員取得了較好的成績。1915年，國際奧委會致電遠東運動會組委會，承隊了遠東體協，并邀請中國參加下屆奧運會和奧委會。1922年，青年會協會總干事王正廷被國際奧委會選為國際奧委會的中國委員，他是國際奧委會中第一個中國委員。1924年，中華全國體育協進會成立。之后，中國陸續加入了田徑、游泳、體操、網球、舉重、拳擊、足球、籃球等8個國際單項體育聯合會。1931年，當時的中華全國體育協進會被國際奧委會承認為“中國奧林匹克委員會”。中國正式成為國際奧委會會員。 新中國成立后，1954年5月，在雅典舉行的第49屆國際奧委會全會上，通過決議繼續承認中國奧委會是國際奧委會會員，但是，在1956年第16屆奧運會時，由于國際奧委會某些負責人制造“兩個中國”，中國奧委會沒有派代表團參加奧運會。1958年8月，中國奧委會宣布與國際奧委會斷絕關系。1979年11月26日，經國際奧委會全體委員表決，又恢復了中國奧委會在國際奧委會中的合法地位。設在臺北的奧委會不能代表國家，只作為中國的一個地區體育機構，用“中國臺北奧林匹克委員會”的名稱留在國際奧委會內。