遵少孤，与张竦伯松俱为京兆史。竦博学通达，以廉俭自守，而遵放纵不拘，操行虽异，然相亲友，哀帝之末俱著名字，为后进冠。并入公府，公府掾史率皆羸车小马，不上鲜明，而遵独极舆马衣服之好，门外车骑交错。又日出醉归，曹事数废。西曹以故事适之，侍曹辄诣寺舍白遵曰：“陈卿今日以某事适。”遵曰：“满百乃相闻。”故事，有百适者斥，满百，西曹白请斥。大司徒马宫大儒优士，又重遵，谓西曹：“此人大度士，奈何以小文责之？”乃举遵能治三辅剧县，补郁夷令。久之，与扶风相失，自免去。