遵少孤，與張竦伯松俱為京兆史。竦博學通達，以廉儉自守，而遵放縱不拘，操行雖異，然相親友，哀帝之末俱著名字，為後進冠。並入公府，公府掾史率皆羸車小馬，不上鮮明，而遵獨極輿馬衣服之好，門外車騎交錯。又日出醉歸，曹事數廢。西曹以故事適之，侍曹輒詣寺舍白遵曰：「陳卿今日以某事適。」遵曰：「滿百乃相聞。」故事，有百適者斥，滿百，西曹白請斥。大司徒馬宮大儒優士，又重遵，謂西曹：「此人大度士，奈何以小文責之？」乃舉遵能治三輔劇縣，補郁夷令。久之，與扶風相失，自免去。