何胤是司空何尚之的孫子，宜都太守何鑠的兒子。何點之弟。何胤長大後好學，開始初向沛國劉瓛學習，學《易經》及《禮記》、《毛詩》。又入鐘山定林寺學佛典，精通內外典籍，深得劉瓛賞識。

何胤性情任情縱誕。在齊朝，起家任秘書郎，轉任國子博士、太子舍人，出任建安郡太守，為政有恩信，人不忍欺，每年伏天、臘月放囚犯回家，囚犯依期而反。入朝為司徒主簿、中書郎、太子中庶子、領國子博士，繼王儉、張緒之後，撰定新禮。齊武帝永明十年（493年），官至侍中、領步兵校尉，轉任國子祭酒。蕭昭業即位，命他任左民尚書、中書令。領臨海、巴陵王師。隆昌元年（494年）何胤是何皇后的堂叔，蕭昭業非常親近信任他，讓他在殿省入值。蕭昭業與何胤共同策劃誅殺蕭鸞，命令何胤承擔這件事情，但是何胤不敢擔當，不顧鬱林王的意圖而反覆勸諫，蕭昭業只好作罷。蕭鸞殺蕭昭業篡位，是為齊明帝。

何胤雖然顯貴，常懷止足之心。建武初年，拜表解職，辭官隱居于會稽（治今浙江紹興）若邪山雲門寺。永泰元年（498年）王敬則想挾持隱居在若邪山的何胤出任尚書令，被長史王弄璋勸阻。何胤遷居秦望山隱居，築學舍來教授生徒，終身不仕，與兄何求、何點並為著名隱士，世號小山，亦稱東山。永元年間，征為太常、太子詹事，並不就任。

蕭衍起兵反蕭鸞的兒子蕭寶卷，引用何胤為軍謀祭酒，何胤不至。梁朝取代齊朝，蕭衍即位梁武帝，授何胤以特進、右光祿大夫、給白衣尚書，又每月給庫錢五萬，何胤不受，仍以教授為業。梁武帝于是派遣何子朗、孔壽等六人至若邪受學。晚年何胤遷居吳郡虎丘山西寺講經，學徒跟隨。著有《周易注》十卷、《毛詩總集》六卷、《毛詩隱義》十卷、《禮記隱義》二十卷、《禮答問》五十五卷、《注百法論》一卷、《十二門論》一卷。

何胤很講究美食，隱居後仍吃白魚、糖蟹。何胤茹葷，就指人喜食葷物。唐朝皮日休《聞開元寺開筍園寄章上人》：折煙束露如相遺，何胤明朝不茹葷。