中国的体育组织早在1922年就得到国际奥委会的承认，并几次派出运动员参加奥运会。中华人民共和国成立后，中华全国体育协进会改组为中华全国体育总会(中国奥林匹克委员会)，会址由南京迁到北京。中华全国体育总会作为中国唯一合法的全国性体育组织和中国奥林匹克委员会，按照国际奥委会章程规定，声明将派出运动员参加赫尔辛基的第十五届奥林匹克运动会。1952年7月，组成了以荣高棠为团长、黄中、吴学谦为副团长，包括篮球队、足球队和游泳运动员在内共40人的中国体育代表团。然而国际奥委会的一些人无视中国运动员的权利，不惜违背奥林匹克委员会章程的规定，拒不邀请中国体育总会参加第十五届奥运会。1952年7月，中国体育总会(中国奥委会)秘书长荣高棠致电国际奥委会主席艾德斯特隆，严正指出：中华体育总会对全国范围体育运动行使管辖权，是领导着全中国运动员的全国性的业余体育组织。只有它才能代表中国人民参加奥林匹克委员会及其所承认的各国际运动联合会;台湾当局“没有资格代表中国人民参加任何国际体育组织会议及体育活动，更不允许它盗用中华全国体育协进会及中国奥林匹克委员会的名义进行非法活动”。

中国的正义要求，赢得了世界舆论和国际奥委会中正义人士及芬兰朋友们的广泛支持。国际奥委会终于在第十五届奥运会开幕前二天作出了邀请中华人民共和国运动员参加这届奥运会的决议。但遗憾的是，它同时邀请台湾的体育组织派运动员参加这届奥运会，并对中华全国体育总会的席位问题予以保留。

1954年5月，在希腊雅典举行了国际奥委会第四十九届委员会会议，讨论中国代表权的问题。经过激烈的斗争，以23票对21票决定：承认中华全国体育总会为中国奥委会。国际奥委会秘书长梅耶致函中国奥委会说：“我愉快地通知贵会，在本月初我会的雅典会议上，贵会已为国际奥林匹克委员会所承认。”国际舆论界指出：“这是所有不断证实体育运动是促进人们之间友好关系和了解的有力手段的人们的一次胜利。”

但是，在国际奥委会中仍然有一股敌视新中国的逆流，其代表人物是1952年当选的国际奥委会主席、美国人布伦戴奇，他未经任何讨论，竟把中国台湾这个地方体育组织偷偷地列入了被国际奥委会所承认的各国奥委会名单之中。1955年6月，中国奥委会副主席兼秘书长荣高棠参加了在法国巴黎举行的国际奥委会执行委员会与各国奥委会代表联席会议。会上，荣高棠指出：把台湾的体育组织塞进国际奥委会是违背奥林匹克宪章精神的，是非法的，应当撤销对它的承认，并通知墨尔本第十六届奥林匹克组织委员会撤销对他们的邀请。布伦戴奇竟用“体育与政治无关”为借口，拒绝中国体育界的正义要求。

中国奥委会为参加1956年10月在墨尔本举行的第十六届奥运会，进行了认真的准备。为了使台湾运动员也能参加这次国际体育盛会，中国奥委会和参加第十六届奥运会筹备委员会向台湾省的体育工作者和运动员发出函件，邀请他们到北京参加选拔赛，组成统一的体育代表团前往墨尔本。信中说：“欢迎你们前来参加全国选拔赛，保证你们来去可以完全自由，并将给予你们以各种方便和协助”。然而，国际奥委会不顾中国奥委会的一再抗议，在第十六届奥运会组织委员会的文件上，不断出现“北京中国”、“福摩萨中国”的字样，并允许台湾当局参加本届奥运会。同年11月6日，中华全国体育总会发表声明，抗议国际奥委会坚持邀请台湾单独派运动员参加第十六届奥运会。同时声明还宣布：问题未解决之前，中国运动员不能参加本届奥运会。国际奥委会在少数人操纵下坚持错误立场，把中国的一个地方组织——台湾体育组织作为国际奥委会的成员予以承认，妄图造成“两个中国”或“一中一台”的局面。布伦戴奇在1958年1月8日给国际奥委会中国委员董守义的一封信中竟说：“台湾存在一个单独的政府”，“台湾，它过去最后属于日本的一部分，而不是属于中国的”。一部分国际单项运动联合会，也在承认中国唯一合法的全国性的体育组织——中华全国体育总会之外，又非法地承认台湾所谓“中华民国”体育组织为其成员。如国际足球、田径、举重、游泳、篮球、射击、自行车、摔跤联合会和亚洲乒乓球联合会等。

为坚持严正立场，1958年6至8月，中国奥委会和有关体育组织相继退出国际奥委会及其联合会。8月19日，中国体育总会宣布：在国际奥委会及其它国际体育组织改正他们的错误之前，中国体育组织将中断同它们的一切关系。与此同时，国际奥委会中国委员董守义也写信给国际奥委会主席布伦戴奇。在谴责了国际奥委会中的少数人制造“两个中国”的阴谋之后，宣布拒绝与布伦戴奇合作。中国奥委会和董守义的声明，代表了中国人民、中国体育组织和中国运动员的坚定立场。中国体育组织被迫退出了国际奥委会及其它9个国际体育组织。

1979年10月，国际奥委会执委会在日本名古屋举行会议，会议通过决议：中华人民共和国奥林匹克委员会的名称为“中国奥林匹克委员会”，使用中华人民共和国的国旗和国歌。设在台北的奥委会作为中国一个地方机构，用“中国台北奥林匹克委员会”的名称保留在国际奥委会内，它所使用的旗、歌和会徽应有别于目前所使用的旗、歌和会徽，并需经执委会批准。同年11月，国际奥委会全体会员通过表决，以62票赞成、17票反对、2票弃权，通过了名古屋执委会作出的关于中国代表的决议。至此，中国奥委会自1958年同国际奥委会中断关系21年后，又恢复了国际奥委会中的合法权利。