彭德怀是高级党校的一名特殊学员。从建国以来，政治局委员到这里学习，彭德怀还是第一人。
他仍住在吴家花园，不和一般学员在一起。党校为他特别编了一个组，由党校党委成员等参加，还指定了两名教员为他担任个别辅导。教员的任务，除为彭德怀辅导学习外，还要把彭德怀的学习和思想状况向上报告。此事由杨献珍负责安排。杨献珍本来对大跃进中的错误做法就颇有意见，对彭德怀抱着同情。嘱咐两个教员：对彭德怀的谈话听听就行了，不要记，回来和我说说便可。
不多日子，杨献珍在接踵而来的“反右倾”运动中，也被戴上了“右倾机会主义分子”的帽子，被撤掉了党校领导的职务。
当一切都安顿下来之后，彭德怀才越来越真切地感觉到，他已从数十年为之奋斗的事业中被放逐出来，等待他的是看不到尽头的、与他整个战斗生涯格格不入的谪隐生活。
他生就的不屈从命运，也从未在生活中嵌进过“闲逸”二字。他绝不能就此优游岁月。党校每周集体学习两次，他准时到达，尽管一些人对他另眼看待，敬而远之。他自学时认真读书、作笔记；讨论时认真准备、积极发言，成为一个十分勤勉、遵守纪律的学员。
他把自己的生活日程排得很满，很早就起身，打拳、到园子里干活；早饭后整个上午专心读书、写笔记；下午除每周两次去党校学习，就看文件、报纸、杂志；４点左右出门走走，略事休息；晚上依然是看书，写笔记，只偶尔看看电视。