生平

祖上有名氣和品德，是西州豪族。他的父親被郭汜所害。魯芝小時候便流離失所。十七歲時移居雍地，研究古籍。郡裡舉薦他為上計吏，後被州里徵為別駕。

鎮邊防蜀

車騎將軍郭淮為雍州刺史時，敬重魯芝。舉薦他為孝廉，後任命為郎中。諸葛亮入侵隴右，郭淮又複請魯芝為別駕。平定入侵之後，郭淮向公府舉薦，徵魯芝為大司馬曹真的屬下，後來調任為臨淄侯文學。鄭袤向司空王朗推薦魯芝，王朗立即禮聘他，後拜騎都尉、參軍事、行安南太守，遷尚書郎。曹真視察關右軍務時，魯芝參與了大司馬府的軍事。曹真去世後，司馬懿代替曹真，又任命魯芝為參驃騎軍事，後轉任天水太守。天水和蜀漢相鄰，多次被蜀軍侵掠，人口一直下降，盜賊四起。魯芝鎮守防衛，建立集市貿易，幾年的時間收復被掠奪的土地。後來被調任廣平太守。天水百姓和少數民族百姓都敬仰他，不分老幼赴京上書，請求留下魯芝。魏明帝答應並下詔嘉獎，勉以黃霸之美德，加封為討寇將軍。

司馬政變

曹爽輔政時，他舉薦魯芝為司馬。魯芝多有正言和良謀，可曹爽不接納其意見。後司馬懿起兵誅殺曹爽時，魯芝斬關奪門逃走，呼召辛敞同去會合曹爽，辛敞聽從其姊辛憲英之言，隨魯芝出關離城。魯芝勸曹爽說：「您現今已像伊尹和周公那樣的高位，一旦獲罪被黜免，即使想過悠閒的生活，還有可能嗎？如果您挾天子保許昌，依仗君王，以此權力徵調軍隊，有誰敢不聽從呢！如果舍此而去，等同到東市刑場行刑，豈不令人痛心！」曹爽懦弱而沒有採納魯芝的進言，最終被殺。魯芝受曹爽牽連入獄，被判死刑，可是他不為自己申辯，志不苟免。司馬懿很讚賞他，赦免了他的死罪。起用為使持節、領護匈奴中郎將、振威將軍、并州刺史。因治理有方，升大鴻臚。

平步青雲

曹髦即位後，魯芝被賜為關內侯，封邑二百戶。毌丘儉叛亂被平定後，魯芝增封邑二百戶，官拜揚武將軍、荊州刺史。諸葛誕佔壽春反叛，司馬昭奉魏帝出征，徵兵四方，魯芝率荊州文武為先驅。諸葛誕被平定以後，晉升為武進亭侯，增加封邑九百戶。升任大尚書，掌管刑法。曹奐即位後，晉升為斄城鄉侯，增加封邑八百戶，升任監青州諸軍事、振武將軍、青州刺史，後轉任平東將軍。五等爵位制度設立後，魯芝被封為陰平伯。

晉武時期

晉武帝司馬炎登基以後，魯芝轉任鎮東將軍，進爵為侯。因魯芝清廉端正，從不置辦家宅，於是晉武帝遣軍士為他建了五十間房屋。魯芝以年事已高為由，請求告老讓位，上了十多次奏章，最後被徵為光祿大夫，特進職位，賜予隨行吏卒，門外設車馬伺候。羊祜被封為車騎將軍時，他想把職位讓給魯芝，說：「魯芝一向廉潔清心寡欲，為人謙和而又從不苟同，恪盡職守直至白髮，自始至終禮孝朝廷，然而他沒有獲得這殊榮，我職位卻超越了他，怎麼會消除天下人對我的怨恨呢？」司馬炎沒聽從其言。

泰始九年（公元273年）魯芝逝世，享壽八十四歲。加封諡號為貞，賜墓地百畝。