其祖吕兖曾在沧州节度使刘守文下做判官。其父吕琦官至后晋兵部侍郎。其兄吕馀庆，后晋时，以荫补官。入宋，历知成都府、蔡州。

有人认为吕端为人糊涂。宋太宗曰：「端小事糊涂，大事不糊涂。」故历史上有「吕端大事不糊涂」之誉。太宗至道元年（995年），吕端继吕蒙正为相。

宋太宗去世后，内侍王继恩密谋废掉太子，另立君王。吕端发觉王的阴谋后制止了事态的发展，奉太子真宗即位，于是王继恩被贬逐。咸平元年（998年）以久病免相。咸平三年(1000年)，吕端以66岁而病卒，赠司空，谥正惠。