1917年自美国哥伦比亚大学教育学院毕业回国，他在太平洋轮船上即立下“要使全中国人都受教育”的誓言并毕生奉行。
他先被聘为南京高等师范学校教授兼教育科主任。提倡改灌输式的教授法为启发式的教学法。
五四时期，他在南京高等师范学校与北京大学同时最早开放女禁，吸收女生入大学，并与同仁从事幼儿教育、普通教育、特殊教育，开展一系列的教学实验。
20世纪20年代初提倡平民教育。经他与同仁努力，两年中使50万人脱除文盲之苦。他是现代中国最早关心广大平民百姓的教育、最早倡导并实践平民教育并取得实际成就的一位平民教育家。
接着提出“到乡村去”，抛却要职厚禄，脱去西装革履，换上布衣草鞋，到农村创办中国第一所乡村师范——晓庄师范，培养农村新师资、新农民，开展新农村实验。最早具有远见地致力于中国教育难点——乡村教育，尝试解决“三农”问题的乡村教育家。
九一八事变后，在上海倡导普及教育、国难教育，成立工学团，组织城乡劳动者边学习、边生产、边自卫抗日，开创了新时代教育模式的雏形。
京、沪、汉相继沦陷，他在重庆创办育才学校与社会大学，吸收难童培养艺术尖子，培养青年成抗战建国之才。