弱冠之年參加北周周武帝滅北齊之戰，因功績受位帥都督。大象二年（580年），李子雄在韋孝寬屬下討伐尉遲迥，受位上開府，封爵建昌縣公。

隋文帝開皇元年（581年），擔任驃騎將軍。開皇九年（589年）、參與滅陳之戰，因功績進位大將軍。歷任郴州刺史、江州刺史，有能幹的名聲。

仁壽年間，因事件連坐免官。仁壽四年（604年），隋文帝死後，漢王楊諒造反，隋煬帝準備徵發幽州之兵討伐亂軍。幽州總管是竇抗，煬帝懷疑竇抗有二心，向楊素徵求其他人選。楊素推薦李子雄，李子雄任大將軍、廉州刺史，入幽州。竇抗帶領二千騎兵拜訪李子雄，李子雄埋下伏兵抓住了竇抗，掌握幽州兵權。動員幽州兵三萬，討伐楊諒。楊諒派大將軍劉建經略河北。李子雄率幽州兵在抱犢山下會戰劉建，將他擊敗。李子雄升任幽州總管，召還任民部尚書。不久改任右武候大將軍，治軍嚴整，隋煬帝評價他是諸葛亮式的人才，後因事連坐免官。

大業九年（613年），隋煬帝二征高句麗，他在來護兒屬下從東萊出海。楊玄感在黎陽造反，煬帝懷疑李子雄會響應楊玄感，將李子雄囚禁。李子雄殺死使者逃亡，歸附楊玄感。在楊玄感敗勢的時候，向楊玄感建議西向關中。楊玄感失敗後，李子雄也被處死。