生平
王玄謨年幼時就已經顯得不平凡，伯父王蕤有鑒賞人才的能力，常常笑稱：「這個孩子高尚忠正，有太尉彥雲(王凌)的風範呀。」後來被劉裕闢為徐州從事史。元嘉元年（424年），謝晦外任荊州刺史、南蠻校尉，請了王玄謨為南蠻行參軍、武寧太守。元嘉三年（426年），宋文帝出兵討伐謝晦，謝晦兵敗被殺，王玄謨因非主帥而獲免罪，後擔任長沙王劉義欣的鎮軍中兵參軍，領汝陰太守。
元嘉七年（430年），宋文帝派到彥之北伐，但因失利退還；次年滑臺亦為魏軍所陷。王玄謨此時就上疏文帝，認為北伐不成主因是士兵不欲遠征，建議在魯陽縣及南鄉縣出兵攻關中及洛陽，而非以江東軍隊遠道進攻。接著的日子多次向文帝進獻北伐策略，一直有心北伐的宋文帝也聽得很心動。後王玄謨任徐州刺史、興安侯劉義賓的輔國司馬、彭城太守。元嘉二十五年（448年），劉義賓去世，王玄謨表稱彭城是水陸要塞，求以皇子外鎮徐州，文帝遂命武陵王劉駿任徐州刺史。
元嘉二十七年（450年），宋文帝再度北伐，以王玄謨為寧朔將軍，受輔國將軍蕭斌節度，率主力進碻磝，碻磝守軍退走後玄謨轉攻滑台（今河南滑縣東），圍城兩百餘日不下。圍攻初期城內有很多茅屋，有人建議用點火的箭燒掉它們，但玄謨認為這會損耗城破後能俘獲的軍需品而拒絕，但城內不久就將茅屋都撤去了。他又一直固執拒諫，堅持以自己想法行事，屢加殺戮；更乘機營高利，賣布給當地人竟索八百個梨，因而大失人心。及後魏太武帝率軍來救，兵眾請以車營抵抗北魏騎兵；垣護之知魏軍來到，亦急請王玄謨不計傷亡也要攻下滑臺以取得據點抵抗魏軍，可是王玄謨都一概拒絕。最終魏軍攻至，他趁夜色而逃，士兵潰散，傷亡慘重。回到碻磝後蕭斌想處死他，但被沈慶之諫止。後蕭斌率眾南退歷城，玄謨自請留守碻磝。次年，魏軍兵至瓜步山後退軍，江夏王劉義恭以碻磝並不可守，召王玄謨率眾棄守南還，但玄謨就遭到魏軍追擊，玄謨軍大敗，手臂更中箭受傷，但還是能撤回歷城。
元嘉三十年（453年），太子劉劭發動兵變弒父繼位，以王玄謨為冀州刺史。不久，劉駿起兵討伐劉劭，玄謨也派了垣護之領兵支持。劉駿登位後調玄謨為徐州刺史，加都督。孝建元年（454年），丞相、南郡王劉義宣聯同江州刺史臧質及魯爽等起兵反叛，王玄謨獲假授輔國將軍，拜豫州刺史，與柳元景聯手討伐臧質。玄謨率眾屯梁山，並在河兩岸修築偃月壘，以水陸之勢等待敵軍。臧質大軍到後攻破了玄謨西壘，玄謨遂向留屯採石的柳元景請求增兵助守東壘，元景留弱兵自守，將精兵全數派往支援玄謨，玄謨軍見元景援軍旗幟甚盛，以為是來自京師的援軍，軍心都安定了。接著臧質率軍攻東壘，玄謨親督諸軍抵抗，終擊敗臧質，義宣等亦潰退，不久即被平定。
戰後玄謨獲加都督、前將軍，封曲江縣侯。但後來中軍司馬劉沖之奏報玄謨興義宣通謀，宋孝武帝就命人彈劾玄謨多取財貨，虛報戰利品數目，與垣護之皆被免官。
孝建二年（455年）王玄謨復任豫州刺史，討平了夏侯方進，八月轉青冀二州刺史，十一月再遷寧蠻校尉、雍州刺史，加都督。玄謨因應雍州多有僑居人民，建議實行土斷，可是因為百姓反對而作罷；接著玄謨又下令九品以上人士都要繳租稅，令得人們不論貧富都得交繳，更令境內士人不滿。因此，當時民間就有流言稱王玄謨要謀反，時任新城太守的柳僧景因其兄柳元景在朝中的勢力，自令南陽、順陽、上庸及新城諸郡出兵討伐玄謨。玄謨下令境內外如常活動，圖解眾人對其謀反的懷疑，他亦上書向皇帝啓奏，陳述事情起因，終令孝武相信謀反之事並非事實，並派主書吳喜公安撫。後玄謨轉金紫光祿大夫，領太常。後又以本官加領起部尚書及北選。大明三年（459年）任郢州刺史。後又轉平北將軍、徐州刺史，加都督。玄謨任內因應北境爆發饑荒，於是捐出十萬斛穀及一千頭牛去賑災。大明八年（464年）入為領軍將軍。同年宋孝武帝去世，王玄謨與義恭、柳元景、沈慶之及顏師伯皆受顧命，玄謨主理外監軍務。宋前廢帝接著即位，然因王玄謨嚴肅正直，不為當時朝政多門之風所容，故很快就外調為青冀二州刺史，加都督。永光元年（465年），劉義恭、柳元景及顏師伯等人密謀發動政變廢前廢帝，沈慶之將此事向前廢帝告發，前廢帝將他們都誅殺，並殘酷解劉義恭，自後更多對百官拳打腳踢，表現更為狂悖。當年，王玄謨受詔入為領軍將軍，子姪們都建議玄謨稱疾不要去，但玄謨卻說：「我受過先帝這麼大的恩，又怎可以怕死求苛活呢。」堅持要去。玄謨多次向前廢進諫，並曾哭請廢帝不要施刑行戮，弄得廢帝大怒。時沈慶之亦屢諫廢帝，為廢帝所忌，遂被廢帝殺害；而時亦有傳言稱王玄謨也被誅了，玄謨當時其實也相當恐懼。蔡興宗曾對玄謨親信包法榮表示王玄謨可以藉廢帝因出獵而召去玄謨五百舊部曲入宮的機會發動兵變，藉由王玄謨大將的威望得朝廷支持，從而取得成功；可是包法榮將此計告知玄謨後玄謨卻不敢做。同年，湘東王劉彧聯結阮佃夫、壽寂之等人弒殺宋前廢帝，自登帝位，即宋明帝。宋明帝對王玄謨相當禮敬，以其為車騎將軍、江州刺史，並因應鄧琬舉晉安王劉子勛為帝對抗宋明帝朝廷，以玄謨為大統率領水軍，讓其擔任司徒、都督征討諸軍事建安王劉休仁的副手。泰始二年（466年）轉左光祿大夫、開府儀同三司，領護軍將軍，同年轉車騎將軍、南豫州刺史，加都督。泰始三年罷南豫州，王玄謨為特進、左光祿大夫、護軍將軍。
泰始四年二月乙巳日（468年4月7日），王玄謨去世，享年八十一歲，諡為莊公。
性格特徵
• 王玄謨為人嚴苛少恩，軍中士兵曾說過：「寧作五年徒，不逢王玄謨。」不過將軍宗越對手下更是苛刻殘酷，兵士又說：「玄謨猶自可，宗越更殺我。」他也不會隨便笑，當時人就說玄謨眉頭從未舒展過。
佚事
• 前廢帝在位時王玄謨恐懼非常，直至明帝繼位後對其禮遇有加，他對親信郭季產和女婿韋希真埋怨當日自己處於危難時他們都沒有幫他提過意見。郭季產卻重提當日蔡興宗的計劃，指既然王玄謨說大事難以實行而不做，他多言亦沒甚麼益處。玄謨聽後面有愧色。
• 孝武帝喜歡戲玩群臣，柳元景、垣護之和王玄謨一樣是北方人，但只有王玄謨被視為「老傖」，更曾為玄謨作詩：「董荼供春膳，粟漿充夏飧，瓟醬調秋菜，白醝解冬寒。」
家庭
子女
• 長子王深，早卒
• 次子王寬
• 三子王瞻。王瞻負氣傲俗，好貶裁人物，常自恃為三公之子，對他人肆意評論，於宋末貶低過蕭道成長子蕭賾，蕭賾記恨在心；479年南齊建立後，身為太子的蕭賾趁機報仇，找藉口殺掉了王瞻，蕭道成派人對太子說：「兒阿，這哪需要計較？」，王瞻卻已被殺死，蕭道成只好默然無語。
外甥
高法昂，高聰父，官至員外郎
