彭玉麟以一介书生投身湘军水师，由于他智勇双全，在攻打田家镇、湖口等战役中屡立战功，便逐步擢升至水师统领，成为湘 军水师统帅。先后被朝廷授为金华知府、广东按察使、安徽巡抚、太子少保、漕运总督、水师提督、兵部右侍郎、署两江总督兼南洋通商大臣、兵部尚书。他视富贵如浮云，一生中曾六辞高官。所以当时民谚有“彭玉麟拼命辞官，李鸿章拼命做官”。
第一次是辞去安徽巡抚（相当于安徽省长）之职。当时是在咸丰十一年，彭玉麟官职是安徽布政使（相当于副省级）衔水师统领。曾国藩任两江总都，把所属三个省份的巡抚任给他的三个亲信，任彭玉麟为安徽巡抚。他却一连三次辞谢，其理由是已习于军营而疏于民政，请朝廷勿弃长用短。朝廷真只好收回成命，改任他为兵部侍郎，依旧留在前线督带水师，他这才坦然接受。
第二次是在同治四年二月，朝廷任命彭玉麟署理漕运总督。漕运，就是解往京师粮食货物的水上运输业。漕运总督掌管鲁、豫、苏、皖、浙、赣、湘、鄂八省的漕政，是众人所垂涎的天下一流肥缺，多少人梦寐以求，谋之不得，而彭玉麟却视之如草芥，两次上书谢绝，理由除了不懂漕政外，又加上性情褊急、见识迂愚，不会与各方圆通相处。自称“臣以寒士来，愿以寒士归也。”对于彭玉麟固请力辞不愿为官的行为，清廷很感奇怪，当时官场里的人也极不理解，甚至有人出面向清廷建议，以他不受命，近乎矫情而处分他。曾国藩闻讯，出面为他说情，他说：“查彭玉麟自咸丰三年初入臣营，坚与臣约，不愿为官，嗣后屡经奏保，无不力辞，每除一官，即具禀固请开缺。咸丰十一年，擢任安徽巡抚，三次疏辞，臣亦代为陈情一次，仰邀允准。此次亲奉恩旨，署理漕运总督，该待郎闻命悚惶，专折沥陈。顷来金陵，具述积疾之深，再申开缺之请，臣相处日久，知其勇于大义，淡于浮荣，不愿仕宦，份出至诚，未便强为阻止。”清廷看了曾国藩的这篇奏折，才冰释狐疑，准予彭玉麟之所请。
第三次是在同治七年六月，彭玉麟上疏请辞已当了六七年的兵部侍郎。原因是当年从军时，三年母丧只守了一年，现在国家安定，他理应解甲归田，将剩下的两年补满。这次朝廷看他情恳意切，便同意了他的请辞。
第四次是彭玉麟离职休养三四年后，朝廷又任命他为署理兵部侍郎兼同治帝大婚庆典宫门弹压大臣。待到庆典一结束，他立即上疏请辞署理兵部侍郎。朝廷接受后，又交给他一项差使，即每年巡视长江水师一次。
第五次彭玉麟是在光绪七年七月，朝廷任命他为署理两江总督兼南洋通商大臣。两江辖地广阔，又兼物产丰茂，南洋通商大臣一缺更是权大责重，一向非名宦宿臣不能任命。朝中重臣曾国藩兄弟、李鸿章、刘坤一等人都曾任过此职。让66岁的彭玉麟出任两江总督，说明朝廷对他的倚重，但他就是不领这个情，接旨后即上疏请辞，隔日后又再次上辞疏。朝廷无奈，只得把此要缺交给左宗棠。
第六次是在光绪八年，朝廷任命彭玉麟为兵部尚书（相当于国防部长）。与过去一样，他接旨后即请辞，朝廷未准。不久，中法战争爆发，朝廷命他率领旧部将士并增募新军，迅速前往广东部署海防。他认为此时是临危受命，不宜再辞，便以衰病之躯奉旨赴粤，带领所部驻扎南海前线，整修虎门要塞，加强沿海完备，遣部将防守钦州、灵山。多次上疏主战，战后疏请严备战守，以防后患。中法战争胜利结束后，光绪十一年三月，他便上疏请辞兵部尚书之职，朝廷未予接受。他又于这年八月、第二年八月、第三年七月、第四年六月接连四次上疏请求辞职。鉴于他的执着，朝廷只得接受。