1920年初，李大钊等人开始了建党的探索和酝酿。4月，俄共（布）西伯利亚局派维经斯基等一行来华，了解中国情况，考察能否在上海建立共产国际东亚书记处。他们先在北京会见了李大钊，后由李大钊介绍到上海会见陈独秀，共同商谈讨论了建党问题，促进了中国共产党的创立。从5月开始，陈独秀邀约李汉俊、李达、俞秀松等人多次商谈建党的问题。8月，陈独秀在上海成立了中国共产党的发起组。10月，李大钊在北京建立了共产主义小组。接着，在湖南、湖北、山东、广东等地相继建立了党的早期组织，同时在法国和日本也由留学生中的先进分子组成了党的早期组织。这些组织当时叫法不一，有的叫共产党，有的则称共产党小组或支部，由于它们性质相同，因此，后来统称它们为各地共产主义小组。
1921年3月，在俄共远东局和共产国际的建议和支持下，召开了各共产主义小组的代表会议，发表了关于党的宗旨和原则的宣言，并制定了临时性的纲领，确立了党的工作机构和工作计划，表明了党组织对社会主义青年团、工会、行会、文化教育团体和军队的态度。这次会议为党的成立作了必要的准备。维金斯基回国不久，1921年6月，共产国际派马林等到上海。他们建议召开党的全国代表大会，正式成立中国共产党。在李达的主持下进行了全国代表大会的筹备工作，并向各地党的组织写信发出通知，要求各地选派两名代表出席大会。来自北京、汉口、广州、长沙、济南和日本的各地代表7月23日全部到达上海。
1921年7月23日—31日，在上海召开了中国共产党的第一次全国代表大会。
大会通过了中国共产党的第一个纲领和决议。纲领规定：党的名称是“中国共产党”；党的性质是无产阶级政党；党的奋斗目标是推翻资产阶级，废除资本所有制，建立无产阶级专政，实现社会主义和共产主义；党的基本任务是从事工人运动的各项活动，加强对工会和工人运动的研究与领导。大会选举产生党的领导机构——中央局，陈独秀为书记，张国焘负责组织，李达负责宣传。
党的一大宣告了中国共产党的正式成立。从此，中国诞生了完全新式的、以共产主义为目的、以马列主义为行动指南的、统一的工人阶级政党。中国共产党的成立，给灾难深重的中国人民带来了光明和希望，给中国革命指明了方向。正如毛泽东所说的那样，中国共产党的成立，是一个开天辟地的大事变。中国共产党成立后，中国革命的面目就为之一新了。