也就是在1904年，段祺瑞的妻弟吴光新从日本陆军士官学校毕业回国，除了徐树铮之外，段祺瑞的身边又多了一个智囊。除此以外，皖系日后的当家人此时都已经逐渐成为北洋系中的重要角色，靳云鹏担任着浙江新军标统，段芝贵担任天津南段巡警总局总办，田中玉担任山东兖州镇总长，卢永祥担任第二镇标统，倪嗣冲总理北洋营务，傅良佐也在常备军担任要职，此时的皖系已经颇具雏形。1905年，段祺瑞又调任第四镇统制，第三镇统制由段芝贵担任，此后段祺瑞又出任第六镇统制。而在这一年，徐树铮暂时离开了段祺瑞，他被保送到日本陆军士官学校步兵科，要在那里“充电”。
1905年到1906年间的段祺瑞，毫无疑问是北洋系将领中生活最抑郁的一个，他是袁世凯嫡系中唯一还在担任统制握有实权的，王士珍与冯国璋此时都已经升为高级干部，只有段祺瑞还在军事第一线。而此时的清室贵胄们正处在“排汉”最激烈的时期，段祺瑞无疑成为他们的首要目标。1906年的10月，常备军在河南省彰德（今河南省安阳市）举行秋操，即南北新军大演习，出任“北军”总统官的就是段祺瑞。清政府派兵部大臣铁良、直隶总督袁世凯为阅兵大臣，王士珍为总参议，冯国璋为南军审判长，良弼为北军审判长，各省派来的观操大员，一律为审判员。这种安排的深意已经毋庸赘言，南军审判长是汉人，北军审判长是满人，而铁良又是当时清室贵胄中排汉最激烈的。