生平
早年
彭玉麟之父是彭鸣九，原籍湖南衡阳渣江，来到安徽合肥任梁园巡检。彭玉麟之母是安徽安庆人。嘉庆二十一年（1816年），彭玉麟生于安徽安庆。道光十二年（1832年），彭玉麟全家随父回籍。次年因族人欺凌，彭父忧愤成疾，含恨离去。彭玉麟家的田产又被族人霸占，彭玉麟母子只得避居郡城，少年彭玉麟就在汉军绿营衡州协标内担任书识来供养母亲。知府高人鉴看到了彭玉麟的文章，很惊奇，就将彭玉麟招入府署，入为附生。
道光二十九年(1849)，湖南新宁发生李沅发之乱。彭玉麟随著衡州协标一同剿乱，到了评定功绩的时候，主管的官吏以为彭玉麟是个武生，就只给他为临武营外委，彭玉麟不愿就任。
湘军生涯
1853年，随曾国藩创办湘军水师，对太平军作战，次年于湘潭之战击败太平军，任知县。
后随军攻陷岳州，升同知（正五品）。在武汉、田家镇连败太平军水师。1855年2月在江西湖口为石达开所败。于是整顿水师，配合陆师于1856年败太平军于樟树镇、临江等地，升广东惠潮嘉道道员。1857年，同杨载福等攻湖口，继夺九江、安庆。后授安徽巡抚，力辞，遂改任为水师提督，晋兵部左侍郎。
1862年（同治元年）率水师策应曾国荃陆师沿江东下，堵截天京护城河口。1863年年与杨载福等破江浦、九洑洲、浦口，断绝天京粮道。攻陷天京，获赏一等轻车都尉世职，加太子少保。1868年会同曾国藩奏定长江水师营制。次年春回籍。1872年奉命巡阅沿江水师。1881年（光绪七年）署两江总督，再疏力辞，仍留督江防、海防。1883年擢兵部尚书（从一品）。
中法战争
1884年，中法战争爆发，奉旨赴广东办理防务。1885年，法军进犯谅山，窥伺广西，率老将冯子材抗击法军。在镇南关、谅山一战，大获全胜，多次上疏主战，反对和议，疏中有「五可战，五不可和」之语。未几，和议已成，停战撤兵。1888年，扶病巡阅长江水师，至安庆后以衰病开缺回籍。
病卒
光绪十六年三月初六日（1890年4月24日），病卒于衡州湘江东岸退省庵。赐太子太保，谥刚直，并建专祠。俞樾作《彭刚直公神道碑文》。
品行
彭玉麟在当地是有名的「清官」，自咸丰五年至同治元年，彭玉麟应得养廉银二万一千五百馀两，全数上交国库充作军饷。同治七年六月，彭玉麟在奏摺中写道：「臣素无声色之好、室家之乐，性尤不耽安逸，治军十馀年，未尝营一瓦之覆一亩之殖，以庇妻子。身受重伤，积劳多疾，未尝请一日之假回籍调治。终年风涛矢石之中，虽甚病未尝一日移居岸上。」。其刚直清廉和曾国藩的家书理学在当地是同样出名的，1864年，彭玉麟把曾国藩的心腹柳寿田予以割耳撤职，以致于曾国藩去信责问：「重责割耳，谓非有意挑衅，其谁信之」，「此等举动，若他人以施之阁下，阁下能受之乎？」彭玉麟晚年巡视长江，曾先后弹劾官吏一百馀人，安庆候补副将胡开泰召娼杀妻，彭玉麟杀之；湖北总兵衔副将谭祖纶诱奸张清胜之妻刘氏，杀人灭口，彭玉麟斩之。
彭玉麟见曾国藩之弟曾国荃滥杀平民十馀万人，非常痛心，先后二次（1861年安庆之围与1864年金陵之围）致函曾国藩，要求杀弟以大义灭亲，但曾国藩回应，反将一军：「舍弟并无管蔡叛逆之迹，不知何以应诛？不知舍弟何处开罪阁下，憾之若是？」曾又自认军纪无问题，又说，「鄙人在军十年，自问聋聩不至于此。」。
书画造诣
彭玉麟在军事之暇绘画作诗，他的诗后结集付梓，题名《彭刚直诗集》。《彭刚直诗集》由清代朴学大师俞樾撰序、辑刊，400多首诗基本反映了彭玉麟一生经历的重大事件。衡阳收藏协会会长唐隆平2007年在衡阳县觅得《彭刚直诗集》的光绪十七年苏州刻本，共计两本八卷。
彭玉麟的画则以水墨梅花著称，他笔下的梅花与郑板桥笔下的竹子为清代画坛两绝。长沙市博物馆馆员陈立果和魏明评价彭玉麟的书法「自然生动、富节奏感、毫劲爽利」。
进入21世纪后，彭玉麟的作品才开始亮相，价钱一般，但近年价格大幅攀升。2011年，《行书七言联》在贸圣佳获价31.36万。《梅花四屏》在上海宝龙获价32.2万元。2012年，《书法国屏》在四川嘉诚获价50.4万。2008年10月，央视《寻宝》节目录制《寻宝：走进衡阳》特辑，彭玉麟的一幅墨梅图被评为「衡阳民间国宝」。
咸丰七年，彭玉麟率湘军水师水陆夹攻太平军时，曾在湖口县石钟山留下「没镞饮羽,诚心石穿」的石刻。2009年才被当地政府发现。彭玉麟还在杭州绘制了一块俞楼红梅碑，上绘有疏密相间的梅树，另刻有「七十二峰樵人雪琴并识」等字样。
对文化事业的贡献
• 修建船山书院：1878年，时任兵部尚书的彭玉麟支持张宪和在王衙坪王氏宗祠创建了衡阳的船山书院。后来船山书院衰落，1885年，彭玉麟又在东洲岛上重建船山书院，并亲聘国学大师王闓运任山长。
• 主编衡阳县志：清同治版《衡阳县志》刊定于清同治十一年，由彭玉麟作序及编纂。
• 修复迎江寺：彭玉麟任安徽巡抚及水师提督时，四处筹措资金修复安庆的迎江寺。
• 重建石钟山：江西湖口石钟山本有苏东坡的《石钟山记》的石碑，在太平太国战乱中被毁，彭玉麟让人重新修复了碑刻。并在石钟山上修建报慈禅林、浣香别墅等景点。彭玉麟还亲自深入石钟山岩洞研究，写了《石钟洞叙》。
个人生活
家庭
父：彭鸣九，安徽合肥梁园巡检。
妻：邹氏
孙女：彭见贞，嫁朴学大师俞樾之孙、光绪二十四年(1898)戊戌科探花俞陛云。
曾孙：彭小兵、彭尤伽。
后裔：彭淑端，嫁给民盟中央原主席、全国人大原副委员长楚图南。
感情
彭玉麟与自己外祖母的养女梅姑相恋（罗尔纲1946年考证过，梅姑本名竹宾），但因梅姑在辈份上为彭玉麟阿姨，因此两人不能结合，两人各自婚嫁，后梅姑因难产而死。彭玉麟一生画梅，以怀念梅姑。
评价
• 毛泽东秘书李锐在《庐山会议实录》里转述周恩来的话，彭德怀说自己欣赏彭玉麟。
• 彭德怀的办公室秘书王亚志，也回忆到彭德怀曾表示赞同彭玉麟「不要命」的人生。
后世纪念
纪念设施
玉麟路：衡阳市珠晖区有一条与湘江东路相交的道路被命名为「玉麟路」，与退省庵相距不远，衡阳100路公交车可经过。
彭玉麟墓：位于衡阳县樟木乡南塘村彭祖山半山腰中。墓地座南朝北，方园百馀米，并有石马、石羊等汉白玉雕，是衡阳县文物保护单位。
杭州退省庵：彭玉麟在杭州西湖建立了退省庵，现位于今三潭印月景点。衡阳退省庵：彭玉麟1869年春回到衡州后修建了彭家花园，也名退省庵，现已不存，衡阳市政府在杨氏家庙重建。
彭玉麟渣江故居：彭玉麟的家乡在衡阳县渣江镇和睦村，早年居住于此，故居后破旧不堪。彭玉麟的彭氏族亲们一起筹集资金修复了彭玉麟故居，于2013年12月24日首度对外开放。
彭玉麟安庆故居：彭玉麟之父彭鸣九曾选授安徽省安庆府的怀宁县三桥镇巡检，彭玉麟就出生于怀宁县，母亲就是安庆人，外祖父就住在安庆黄家坡（黄甲山）。彭玉麟也有故居在现安徽省安庆市，为安庆市的名人故居。
彭玉麟廉政塑像：衡阳市廉政文化雕塑园内有雕刻彭玉麟的塑像。
纪念活动
2016年为彭玉麟诞辰200周年，社会各界开展了各类纪念活动。中国邮政于2017年新年发行了「纪念船山传人彭玉麟诞辰200周年」的贺卡。2017年1月4日起，纪念彭玉麟诞辰200周年书画展在衡阳市博物馆开展。2017年1月11日，衡阳市举办纪念彭玉麟诞辰200周年学术研讨会。
注释
