姜遵進士及第，為蓬萊尉，召闢為登州司理參軍，開封府右軍巡判官。有疑案，將有人斬首抵死，姜遵辨明無罪將他釋放。轉任太常博士，王曾推薦他為監察御史，殿中侍御史，開封府判官。知吉州高惠連與姜遵有嫌隙，揭發姜遵在廬陵時贓事，按察沒有此事，但還降通判延州。再入為侍御史、判戶部勾院。利州路饑荒，以姜遵前去救濟安撫，轉任知邢州。

宋仁宗即位，轉任滑州，為京東轉運使，轉任京西。沒多久，以刑部郎中兼侍御史知雜事。建言三司、開封府每日接待賓客，廢棄公事，有詔禁止。歷任三司副使，再任右諫議大夫、知永興軍。奏請停止咸陽富民元氏每年貢梨一事。1028年三月，召拜為樞密副使，轉任給事中，1030年九月，姜遵卒。贈吏部侍郎。

姜遵擅長吏事，為政崇尚嚴猛，被所誅殺的人很多。在永興軍，劉太后曾經下詔營建佛塔，姜遵毀壞漢、唐碑碣代磚甓，他成，得到召用。