呂公弼賜進士出身，積官升遷直史館、河北轉運使。自寶元、慶曆以來，駐守軍隊備邊。西夏的危機消除後，將領依舊駐守，百姓疲于運糧。呂公弼開始疏通御河，漕米供應塞下，冶鐵資助經費；移近邊屯兵到京東就食；增加守城兵卒，供給板築；蠲免賦稅何百姓所欠數百萬。呂夷簡死後，宋仁宗想起他，問知公弼名，記在殿柱上。至此，更加賞識他的作為。擢升為都轉運使，加龍圖閣直學士、知瀛州，入權開封府。曾奏事退下，宋仁宗目送，對宰相說：「呂公弼很像他父親。」

改任同群牧使，以樞密直學士知渭州、延州二州，改任成都府。治政尚寬仁，人們懷疑缺少威嚴決斷。營中兵卒犯法當杖責，拒絕不受，說：「寧可用劍殺死我。」呂公弼說：「杖責是國法，劍殺是你自己的要求。」杖責而後斬殺，軍府肅然。宋英宗罷三司使蔡襄，召呂公弼取代他。開始，呂公弼在群牧時，英宗居藩，得賜馬很差，想要換不被同意。這時，宋英宗對他說：「卿之前不給朕馬，那時我就了解卿了。蔡襄主持三司，訴訟不按時決斷，所以事情多積留。卿繼承他的位子，將怎麼辦？」呂公弼叩首辭謝，回答：「蔡襄勤于政事，未嘗有過失，恐怕是有人妄說。」英宗以呂公弼為長者。拜為樞密副使。當時上書言事之人多次與大臣異議去職，呂公弼上諫：「諫官、御史，為陛下耳目，執政為股肱。股肱耳目，必互為所用，然後身體安康而元首尊貴。應該察言觀事，了解因果再加以進升退斥。」彗星出營室，英宗心憂，同列官員請整飭邊備。呂公弼說：「彗星不是小變故，陛下應該謹慎修德，以應天戒，臣擔心憂患不在邊境。」

宋神宗即位，司馬光彈劾內侍高居簡，神宗未決。呂公弼說：「司馬光與高居簡，勢不兩立。高居簡是內臣，司馬光朝中執法，願陛下選擇其中重要的。」神宗問：「那該怎麼辦？」呂公弼說：「高居簡升遷一官，而解處他的近侍之職，司馬光就不會爭了。」于是聽從，呂公弼進為樞密使。議論之人想要合併環慶路、鄜延路為一路，呂公弼說：「從白草西到定遠，中間相去千里，如果合為一路，有了緊急情況，將何以應對？」又想要下發邊臣讓他們討論，呂公弼說：「朝廷之上沒有決定，而諉于邊吏，可以嗎？」于是停止。

王安石知政事。怨恨呂公弼不依附自己，請皇帝用公弼之弟呂公著為御史中丞來逼他退位。呂公弼不自安，立時上奏迴避，皇帝不許。陳昇之建議，衛兵年齡四十以上，稍不合規的，減其糧餉，遷到淮南。呂公弼認為不合人情，神宗說：「這是應當斥退的剩員，現今特為優待，有何妨害？」呂公弼回答：「臣不敢以生事邀名，只是擔心誤國。既讓他們離開本土，又削去糧餉，如果二十萬人都生反意，怎麼辦？」韓絳建議恢復肉刑，呂公弼力陳不可，神宗都因此廢止。

王安石變法，呂公弼多次說應該務安靜，又上疏論述。從孫呂嘉問偷出他的稿本給王安石看，王安石先將此上告，神宗不高興，于是罷為觀文殿學士、知太原府。韓絳宣撫秦、晉，將攻取囉兀城，令河東發兵二萬，抵達神堂新路。呂公弼說：「敵人必設伏以待我軍。永和關雖遠，卻可安行無患。」于是從永和關進軍。結果新路援兵果然遇伏，神宗下詔褒賞呂公弼。麟州沒有井，只有沙泉在城外，想要擴充城牆把泉包進去，而土質易陷，西夏人每次來圍城，人們都擔心渴死。呂公弼用屬下鄧子喬之計，仿古代拔軸法，去除沙子，填充炭末，在上面埋土，板築立起，于是把泉包于城中。從此城堅不陷，麟州城也得以堅守。

因病請知鄭州。王韶取熙河，朝廷選擇秦鳳路的帥司，神宗說：「公弼在河東，正是出師倉猝之時，有安撫指揮之能，應該派他去。」于是任命為宣徽西院使、判秦州。神宗懷疑他不肯前行，公弼聞命就在整理行裝，神宗高興，召他入對，慰勞後派遣。到達秦州，吐蕃董氈給他寫信稱敕，呂公弼拒絕，說：「藩臣安得妄自稱敕？」董氈害怕，從此不再敢。才過了一個月，再以病求解職，擔任西太一宮使。卒年六十七歲。贈太尉，謚號惠穆。