姜遵进士及第，为蓬莱尉，召辟为登州司理参军，开封府右军巡判官。有疑案，将有人斩首抵死，姜遵辨明无罪将他释放。转任太常博士，王曾推荐他为监察御史，殿中侍御史，开封府判官。知吉州高惠连与姜遵有嫌隙，揭发姜遵在庐陵时赃事，按察没有此事，但还降通判延州。再入为侍御史、判户部勾院。利州路饥荒，以姜遵前去救济安抚，转任知邢州。

宋仁宗即位，转任滑州，为京东转运使，转任京西。没多久，以刑部郎中兼侍御史知杂事。建言三司、开封府每日接待宾客，废弃公事，有诏禁止。历任三司副使，再任右谏议大夫、知永兴军。奏请停止咸阳富民元氏每年贡梨一事。1028年三月，召拜为枢密副使，转任给事中，1030年九月，姜遵卒。赠吏部侍郎。

姜遵擅长吏事，为政崇尚严猛，被所诛杀的人很多。在永兴军，刘太后曾经下诏营建佛塔，姜遵毁坏汉、唐碑碣代砖甓，他成，得到召用。