遼興宗重熙十九年（1050年）楊遵勗舉進士。歷任儒州軍事判官，樞密院副承旨。遼道宗咸雍三年（1067年），任樞密院都承旨。樞府簿書堆積，楊遵勗處理公務案牘敏捷，決事如流，奏報詳敏。奉詔征戶部逋戶舊錢，得四十餘萬緡，拜樞密直學士，改樞密副使。大康元年（1075年），任參知政事。轉任知樞密院事，兼門下侍郎、平章事，曾作為遼方代表與北宋議地界。為南府宰相。大康三年（1077年），耶律乙辛誣陷太子耶律濬謀反，他奉命參與此案的審理，他不敢據實直言。後拜北府宰相。大安年間卒，年五十六歲，謚康懿。《全遼文》卷八收其文三篇（一署耶律興公，二署楊遵勗）。