少怠惰，不事生計，流轉江淮間。與鄱陽呂用之有舊識，呂用之推薦他跟諸葛殷給浙西節度使高駢認識，皆言能役鬼神，點石成金。即被高駢任命為左莫邪軍使，又任命為檢校左僕射，待遇僅次於呂用之。呂用之強姦高駢部將畢師鐸愛妾，師鐸發動兵變，高駢得知呂用之罪孽，因而責問之。

呂用之於是帶著張守一轉投楊行密，成為其門客，張守一請求為諸位將領炮製太還丹，未成，以康知柔為發運使。院胥伍諷告發知柔貪瀆，守一與知柔被下獄處死。