鄭早年為諸生，家中豪富，因此好為俠名，不樂為文。崇禎十六年（1643年），鄭準備參加其好友許都在江南發動的反明起義，但後因為其父鄭之尹的阻撓，並未成功。

1644年五月，南明弘光帝定都南京，鄭隨之在鄉中招募壯士，以備戰亂。1645年，清軍先後占領南京和杭州，鄭不願屈服，于閏六月十一日起兵，殺死降清的會稽縣令彭萬里和清的招撫使，與熊汝霖合作將台州的魯王朱以海擁立為監國。

1646年五月，魯王軍敗，鄭遵謙隨魯王轉戰舟山、中左等地。不久，因為不滿鄭彩擅殺熊汝霖的行為，與其決裂，被鄭彩命令逮捕，鄭遵謙遂投海自殺。