牛温舒刚正尚节义，有远器。咸雍年间，进士及第，为小官。太安初年，累进户部使，转任给事中、知三司使事。辽道宗认为他有能力，加户部侍郎之位，转任三司使。寿昌年间，任参知政事，兼同知枢密院事。太安四年（1198年），摄中京留守。部民请皇帝正式任命，于是正式任命为中京留守。召还为三司使。

乾统初年，再任参知政事，知南院枢密使事。乾统五年（1105年）北宋攻打西夏，西夏派使者到辽朝，希望辽国作为和平仲介。乾统六年（1106年）正月，牛温舒、萧得里底出使北宋。牛温舒见到河北道士装束的俳优，俳优说：「土少不能和」。牛温舒用手怀抱耕土会面宋徽宗。宋徽宗问他理由，牛温舒说：「臣奉天子威命来斡旋和平。若不从，则当卷土收去」。宋朝廷同意西夏和平。牛温舒回国，加中书令，去世。