林大中入太學，紹興三十年（1160年）林大中進士中第，知撫州金谿縣。州里督促交納賦稅非常急迫，林大中請寬延期限，州里不聽，于是他上交委任狀自劾歸鄉。後來擔任太常寺簿。宋光宗受禪後，林大中擔任監察御史。林大中上書請求規範祭祀何祭祀的祝詞。一天，光宗御札給林大中，說上書言事發現糾察，應當遵守舊例。林大中說：「台臣不應當逾越職守，固然像聖上的訓示，但是必須正直敢言，才算是稱職。」轉任殿中侍御史。

林大中奏言：「提拔斥退人才，應當看他志向的大體，不應當求全責備看他行事之小節。志向端正，雖小節可責，不失為君子；志向不正，雖小節可嘉，不失為小人。」又說：「今日之事，莫大于仇恥未複。此事不能完成，則這個意願不可忘記。這個意願存于心中，用來招攬天下之才，作天下之氣，倡天下之義。此義明確，則事情條理可談得上，治功可得以成功。」陳賈以靜江守臣的身份入奏，林大中說他「用奸無知，曾經褒貶王淮，創立道學之目，暗中罷黜正人君子。如果允許入奏，必再留于朝中，好人聽說了，紛紛離去，不是安定國家的辦法。」命令于是中止。

紹熙二年（1191年）春，雷電交作，有旨意諮詢時政缺失。林大中以事務多宮中作出，于是上疏：「仲春雷電，大雪繼作，以事例推求，應該是陰氣勝過陽氣的明証。男為陽，女為陰，君子為陽，小人為陰。應該區別邪正，不要讓小人得以離間君子。應該思考正大創始之道，不要讓女人幹涉政務。」

司諫鄧馹以議論政事轉任將作監，林大中說：「台諫以議論政事不合而調任，臣恐天下以陛下是不能容得不同意見。」林大中守侍御史兼侍講。知潭州趙善俊按皇帝意圖奏事，林大中上疏彈劾趙善俊，還說宗室趙汝愚賢能當召還。光宗聽其言，召來趙汝愚而外任趙善俊。

當時江、淮、荊、襄為國家屏障，但是權任很輕。林大中說：「應該選擇作風紮實又有材略的人，交給他們江、淮、荊、襄的重任。舊制河北、陝西分為四路，以文臣為大帥，武臣為副手。高宗中興初年，沿江置制置使。自從秦檜罷黜三大將的兵權，專門任用武臣，而江東、荊、襄的帥臣不再領制置之職。應該按照舊制設立制置使，以諸將為副手，久任重權，則邊防確立、國勢聲張。」

江、浙四路之民苦於折帛和買重賦稅，林大中說：「有產則有稅，對于稅絹收取折帛，還有的可說，如果和買又折帛則對民眾是雙重危害。從咸平年間馬元方建建議從春天預支本錢救濟百姓睏乏，至于夏秋讓他們交納，則是先支錢而後納絹。其後則錢鹽分別交納，其後則直接從百姓那裡收錢，現在又令納折帛錢，以兩縑折一縑的價值，大失立法初意。」朝廷因他的進言為減免了三年的稅收。

馬大同為戶部，林大中彈劾他執法嚴峻。皇帝想要還他到其他部門，林大中說：「他曾經為刑部，本來就以嚴刻著稱。」上章三次不報。又彈劾大理少卿宋之瑞，上奏四次，又不報。林大中因為進言不行，請求離去，改任吏部侍郎，推辭不任，于是林大中直寶謨閣，馬大同、宋之瑞都去當地方官。

開始，占星者對朱熹說：「某星示變，正派人應驗，莫非是林和叔？」從此，朱熹給朝士寫信：「聽說林和叔擔任御史台說，無一事沒有擊中目標，離開朝廷一事，風義凜然，當從古人中來找他的精神。」給事中尤袤、中書舍人樓鑰上疏：「林大中是言官，應當與被被他彈劾的人有所區別。」任命他知寧國府，又轉任贛州。宋寧宗即位，召還，試任中書舍人，轉任給事中，兼侍講。知閣門事韓侂胄來拜見，林大中見他，沒有別的話，暗中請私下結交，林大中笑著推辭，韓侂胄的怨恨從此開始。

當時吏部侍郎彭龜年彈劾韓侂胄，韓侂胄轉一官與內祠，彭龜年轉任煥章閣待制外任。林大中同中書舍人樓鑰繳還奏章：「陛下禮遇舊僚，一旦登基，邀請詢問不停。不到三個多月間，或死或貶，只有彭龜年一人還留著，現在又貶去，四方之人以為他直言獲罪，恐怕有傷政體。而且一去一留，恩意不能平等。出朝的人越走越遠，不再侍奉左右。留下的奉祠，也是召見無時。請留彭龜年參與經筵，而命韓侂胄外任，則事體公平，人無可言。」寧宗有旨：「彭龜年已為優待，韓侂胄本無過錯。」林大中再奏：「彭龜年免職外任為優待，韓侂胄轉任承宣使不是優待嗎？如果說韓侂胄本無過錯，則彭龜年上奏實出于愛君之心，豈能說是過錯？彭龜年既以決定外任，韓侂胄難以獨留，應該外任或外祠，以安慰公議。」寧宗不接受。

太府寺丞呂祖儉以上書彈劾韓侂胄，被貶到韶州，林大中上奏援救他。汪義端為御史，因為彈劾趙汝愚離職，這時韓侂胄援引他為右史，被林大中封駁。林大中改任吏部侍郎，不受，以煥章閣待制知慶元府。城南民田，潮水泛濫不能耕種，林大中捐公款買石頭修築，百姓沒有勞役而獲其利。慶元府有人說夜裡有妖怪，林大中認為這必是狡猾的賊人所為，立刻捕拿處以黥刑，民情于是安定。請求奉祠，得准。給事中許及之繳奏駁斥，于是削職。後來提舉衝佑觀。請求退休，恢復原職。監宗御史林採彈劾，再次落職，不久又恢復原職。

林大中罷官歸鄉，屏居十二年，未嘗以得失放在心上，在龜潭之上建園，客人到了，摘杞菊，釣溪魚，飲酒賦詩，時事一句不談。客人有人勸林大中給韓侂胄寫信，林大中說：「吾為門下侍郎時，一句話承他的意，豈能閒居到今日？」客人說：「即使不求福，也能免禍。」林大中說：「福不是求到的，禍也不是怕就能免除的？」韓侂胄準備北伐，林大中說：「今日想要安民，非息兵不可；想要息兵，非去韓侂胄不可。」

韓侂胄被殺，寧宗召見林大中，落致仕，試任吏部尚書，林大中說：「呂祖儉得罪韓侂胄，死在瘴鄉，雖然贈官，而公議沒有滿足。彭龜年面奏韓侂胄之過，朱熹彈劾韓侂胄竊弄權柄，都被中傷，降官奪職，最後老死，應該優加旌表。其他因議論韓侂胄獲罪之人，希望按照輕重而表彰他們，來為獲罪者伸冤。」除任端明殿學士、簽書樞密院事。

嘉定改元，兼太子賓客。曾經議論講和事，寧宗說：「朕不怕為民屈己，講和之後，也想和卿等革除韓侂胄弊政，作做好國家的事。」林大中叩首：「陛下言及于此，是宗社生靈之福。」經常對親近的人說：「我年近八十，豈能受的勞累，只以和議未成，想到自己接受聖訓，以革除弊政作為經久之計。如果初心稍稍滿足，即請求退休。」當年六月卒，時年七十八歲，贈資政殿學士、正奉大夫，謚正惠。

林大中清修寡慾，退讓的樣子就像不穿不了大衣服，但是遇事發作，凜然不可犯。從小力學，志向不凡。所著有奏議、外製、文集共三十卷。