此时，远在北京的高拱见徐阶已经被整，复仇的目的已经达到，便示意吏部，批准戴凤翔的奏疏，以海瑞“志大才疏”为由，将应天巡抚职务罢免。消息传来，江南百姓纷纷痛哭，为海瑞打抱不平。隆庆四年二月，海瑞改任总督南京粮储。即将赴任时，朝廷又下令罢黜其南京粮储都御史职务，该岗位职责由南京户部侍郎兼任。这不是玩人吗？前脚把海瑞调过去，后脚又说这个岗位取消了，愤怒之余，无处可去的海瑞写下了《告养病疏》，请皇帝允许自己辞职。隆庆皇帝没有意见，都听高拱的，准了！于是海瑞离开南京，重新回到自己的老家琼州，很快，高拱也下台了，但新上任的首辅张居正也不喜欢海瑞，中央的、地方的官员常常推荐他，可张大人就是不用。
转眼十几年就过去了，万历十二年（公元1584年），张居正已经去世。明神宗突然想起了海瑞，这位曾经怒怼我爷爷的人，为什么不用一用呢？张居正不用的，我倒想试一试，反其道而行之。旨意传到组织部，大家很为难，给海瑞安排什么职务呢？他这么异类，与官场格格不入，无论到哪里，都会与同事打起来。想来想去，拟任命为左通政。万历皇帝从小就听过海瑞的英雄事迹，决定让他回南京工作，担任右佥都御史，半路上又改为南京吏部右侍郎。当时海瑞已经七十二岁高龄了，半入土的人，再次承蒙朝廷宣召。他给年轻的皇帝上疏：希望能严刑峻法，好好治一治贪官污吏，当年太祖皇帝在的时候，规定贪污八十贯钱就要判死刑，贪污数额更多的，要剥皮揎草，现在我们应该重新拾起这些手段，治理贪污，老祖宗留下的光荣传统不能丢呀！整个官场听到这个消息，都很害怕，感觉太过了，御史梅鹍祚因此弹劾海瑞，万历没有接受，认为他完全出于一片忠心。