李克憲的母親是秦國太夫人瀆氏，宋太祖乾德五年（967年）秋，李彞興（李彞殷為宋太祖的父親趙弘殷避諱）去世。太平興國三年（978年），李克睿去世，次年，李克睿之子李繼筠去世。這時，李克憲擔任定難節度使下轄綏州刺史。太平興國四年（979年），宋太宗征北漢，李繼筠派遣銀州刺史李光遠、綏州刺史李光憲率蕃、漢兵列陣渡黃河，攻略太原境以張宋朝軍勢。後來自恃功高跋扈，被李繼筠彈劾免職。宋太宗因為綏州無主，再讓李克憲知州事。宋太宗太平興國七年（982年），他和綏州刺史、西京作坊使李克文上表說李繼筠弟弟李繼捧繼承節度使，于是宋太宗讓李繼捧入朝。李克憲入京拖延，通事舍人袁繼忠詔諭，李克憲被迫入朝，擔任單州刺史，賜第京師。