善於音樂、武藝，早年任汝州刺史李深之部將。昭義節度使李抱真聞王延貴有才，特意向李深借將，收王延貴入幕府，任昭義押衙。延貴隨抱真四處征戰，皆身先士卒，不畏弓矢，晉為步兵都虞侯，朝廷封為御史中丞。

貞元十年（794年），昭義節度使李抱真去世，元誼與元促經認為應該要立抱真之子李緘世襲，延貴反對，認為應該歸順朝廷，而後延貴被朝廷立為留後，賜名王虔休，元誼非常不滿，要求以洺州、磁州、邢州另作一軍，虔休怒而討伐元誼，元誼詐降；王虔休以裨將率領二千人入洺州城接收，元誼將他們全部殺死，但兩方的征戰，元誼畢竟失利，還是率領洺州士卒五千人、百姓五萬家投奔魏博。

貞元十二年（796年），王虔休真除為昭義節度使。