如意元年（692年），吐蕃酋长曷苏率领部落贵川部与党项种三十万，请求归附武周，朝廷任命右玉钤卫将军张玄遇为安抚使，领精卒二万迎接。六月，周军到大渡水西边，曷苏归附武周的事情泄露，被吐蕃人擒拿。别部酋长昝捶率羌蛮八千馀人归附武周，张玄遇将他的部落安置在莱川州后，以昝捶为刺史，在大度西山勒石纪功而还。延载元年（694年）十月，岭南獠人反叛，朝廷任命容州都督张玄遇为桂、永等州经略大使以讨伐。

万岁通天元年（696年）五月十二日，营州契丹松漠都督李尽忠、归诚州刺史孙万荣起兵反武周，攻陷营州。五月二十五日，武则天派遣左鹰扬卫将军曹仁师、右金吾卫大将军张玄遇、左威卫大将军李多祚、司农少卿麻仁节等二十八将讨伐。周军到达黄麞谷，契丹人派老弱兵民前来投降，故意在道边丢弃老牛瘦马。曹仁师等便留下步兵，领骑兵前进。八月二十八日，与契丹黄麞谷之战，周军大败。契丹人设下埋伏从侧面攻击，李楷固用飞索将张玄遇与麻仁节绊倒，将他们生擒。契丹人获得周军印信，便伪造文书让张玄遇等签名，通知总管燕匪石、宗怀昌等说官军获胜，催促他们前进。燕匪石等得到通知，昼夜兼程，士卒马匹都很疲劳；结果被契丹人在中途埋伏截击，全军覆没。