牛溫舒剛正尚節義，有遠器。咸雍年間，進士及第，為小官。太安初年，累進戶部使，轉任給事中、知三司使事。遼道宗認為他有能力，加戶部侍郎之位，轉任三司使。壽昌年間，任參知政事，兼同知樞密院事。太安四年（1198年），攝中京留守。部民請皇帝正式任命，于是正式任命為中京留守。召還為三司使。

乾統初年，再任參知政事，知南院樞密使事。乾統五年（1105年）北宋攻打西夏，西夏派使者到遼朝，希望遼國作為和平仲介。乾統六年（1106年）正月，牛溫舒、蕭得里底出使北宋。牛溫舒見到河北道士裝束的俳優，俳優說：「土少不能和」。牛溫舒用手懷抱耕土會面宋徽宗。宋徽宗問他理由，牛溫舒說：「臣奉天子威命來斡旋和平。若不從，則當卷土收去」。宋朝廷同意西夏和平。牛溫舒回國，加中書令，去世。