嘉慶十六年（1811年）登進士，與林則徐同榜，改庶吉士。嘉慶二十三年七月十七（1818年8月18日）由翰林院侍讀調任廣西學政。道光四年（1824年）大考一等，擢侍讀學士。歷官宗人府府丞、左副都御史，督順天府學政。主持增訂《史籍考》。咸豐年間太平軍起，咸豐五年（1865年）奉旨辦理團練，太平軍至，則聞警逃遁，張芾參劾潘錫恩「坐擁厚資，心存慳吝，聞警則先期逃遁」。晚年晉封太子少保，賜謚文慎。其故居在今安徽涇縣茂林中學。