戚夫人虽多才多艺，才貌出众，专宠后宫，但是高祖的皇后——吕后阴险毒辣，对戚夫人由忌生恨，戚夫人也常为自己的命运担忧，经常哀求刘邦废太子——吕后的儿子刘盈，改立自己的儿子赵王如意为太子。刘邦也认为刘盈仁弱，不像自己，如意才像自己。无奈吕后在朝中势力强大，他的两个哥哥都是朝中大将，最后，吕后请出刘邦敬重的四位老人，请求他们赞同册立刘盈为太子，并愿意日后辅佐他。刘邦无奈，召戚夫人说：“我想改立太子，但连四老都自愿辅助刘盈，羽翼已长成，难改动啊！”戚夫人闻之悲恸欲绝，想到吕后将成为自己真正的主宰，更是不能自已，痛哭流涕。人们常常在欢快的时候起舞，而戚夫人更多的是在悲伤的时候舞蹈，戚夫人在悲痛中跳起了楚地的舞蹈，刘邦用楚地民间音乐的调子伴唱：“鸿鹄高飞，一举千里，羽翼以就，横绝四海，又可奈何……”道出了刘邦被形势所迫，不能改立太子无可奈何的心情。
公元前195年四月，太子刘盈即位，即汉惠帝。这时，吕后更加肆无忌惮，她视戚夫人及其子赵王如意为眼中钉，于是，下令把戚夫人的头发剃了，给她穿上罪人的衣服，囚禁起来，让她终日舂谷。戚夫人忍受着残酷的折磨，一面舂谷，一面唱歌，有些类似现在民间的杵歌，歌中唱道：“子为王，母为虏，终日舂薄暮，常与死为伍，相离三千里，当谁便告汝？”吕后得知戚夫人唱这种歌，更加恼怒，下令召赵王如意入宫，并用毒酒把赵王害死。随后命人斩断戚夫人的手脚，挖去眼睛，熏聋她的耳朵，又给她喝哑药，把她丢在厕所里，称为“人彘”。戚夫人再也不能一展她婀娜的舞姿和美妙的歌喉。过了几天，狠毒的吕后召惠帝看“人彘”，惠帝知这是戚夫人后大哭不止，从此病倒，惠帝虽是吕后之子，但也不能容忍母亲使用如此毒辣的手段残害戚夫人，以后终日饮酒，不理朝政。