其祖呂兗曾在滄州節度使劉守文下做判官。其父呂琦官至後晉兵部侍郎。其兄呂餘慶，後晉時，以蔭補官。入宋，歷知成都府、蔡州。

有人認為呂端為人糊塗。宋太宗曰：「端小事糊塗，大事不糊塗。」故歷史上有「呂端大事不糊塗」之譽。太宗至道元年（995年），呂端繼呂蒙正為相。

宋太宗去世後，內侍王繼恩密謀廢掉太子，另立君王。呂端發覺王的陰謀後制止了事態的發展，奉太子真宗即位，于是王繼恩被貶逐。咸平元年（998年）以久病免相。咸平三年(1000年)，呂端以66歲而病卒，贈司空，謚正惠。