1920 年初，发动戊戌变法的梁启超自欧洲归来，张国焘专程前往拜见，令他失望的是，他敬佩多年的梁启超发动变法的勇气，如今被一种对政治的厌恶与消极所代替，张国焘对他的崇拜一时消失得无影无踪。
此后，张国焘有幸拜见了敬仰已久的孙中山，与之讨论了学生运动以及工人运动等问题。孙中山的抑郁不得志，让他感到国民党前途渺茫。此后张国焘受国民党人推荐，出任“中华全国工业联合协会”总干事，见识到国民党组织松懈涣散，其党员大多热衷于上层活动，忽视基层工作，求名利而不务实，内心十分失望与茫然。
恰在这时，北大文科学长陈独秀为躲避警察抓捕来到上海，李大钊在护送陈独秀到天津登船的路上，两人探讨了组织共产党的问题，相约分别在北京、上海组建共产党小组。
李大钊回京后即电告许德珩，请其为陈独秀安排住处。许德珩也是著名学生领袖之一，此时躲避在上海，他约张国焘为陈独秀寻找住处，陈独秀因此得知了这一消息。