工读互助团解散后，他于1920年春到上海，开始接触马克思主义。五六月间，在《民国日报》副刊《觉悟》上连续发表《与奴才作奴才的奴才》《我们应当做什么工》《欲望与道德》等文章和新诗，宣传马克思主义关于资本主义社会矛盾和阶级斗争的观点。这期间，他还参加上海工界纪念“五一”国际劳动节和上海共产党早期组织酝酿成立等活动。1920年夏参加上海共产主义小组，是中国共产党最早的党员之一。他是与陈独秀、李汉俊、俞秀松、施存统共同起草中国共产党第一部纲领的五个人之一。同年7月赴法国勤工俭学。在法期间，与赵世炎、李立三、王若飞等组织勤工俭学会、劳动学会，团结组织工人和为勤工俭学学生争取教育平等。陈公培参与创建旅法中国共产党组织，是旅法最早五位中共党员之一，旅法用名吴明。11月回到上海，在青年团临时中央工作。这时，他与旅法的赵世炎进行密切联系，讨论成立旅欧社会主义青年团（即旅欧中国少年共产党）等问题。1921年春，与张申府、赵世炎、周恩来、刘清扬等五人组成巴黎共产主义小组。9月，因参加蔡和森等领导的占领里昂中法大学的斗争被捕，10月中旬，与蔡和森、李立三、张昆弟等104人被押送回国；同年底赴海南，任《琼岛日报》总编辑和第六师范学校教员，建立海南党组织，创建琼海师范学校并任校长。