张遇开始是后赵豫州刺史。350年，冉闵灭后赵，任命他为豫州牧。351年，张遇以许昌（今河南许昌）等城归降晋朝安西将军谢尚，晋穆帝拜他为镇西将军。谢尚不能抚绥，张遇叛晋，命其部将据洛阳，攻仓垣，使北伐晋军不得进。次年，张遇被前秦苻健打败，为苻雄所俘，苻健以他为司空、豫州刺史，后为征东大将军、豫州牧。他的继母韩氏被苻健纳为昭仪，苻健屡次在众人面前称他为义子。张遇不堪其辱，欲杀苻健。七月，张遇和黄门刘晃密谋夜袭苻健，刘晃约定到时开门等待。正好苻健派刘晃外出。张遇不知此事，当他带兵来到门前时，门没有打开。事情败露，张遇被杀。