李崇矩性情純厚寡言，信奉佛教，造像建寺很多。開始作為後漢樞密使史弘肇的親吏。後周時，入柴榮帳下。李崇矩跟隨周世宗征北漢，因為立功轉任供備庫副使。宋太祖建隆元年（960年）李崇矩參加平定李筠、李重進之亂有功。乾德二年（964年）趙普為宰相，李崇矩代替趙普擔任樞密使，因為與趙普聯姻，使宋太祖感到不滿。開寶五年（972年）出任鎮國軍節度使。開寶六年（973年）入為左衛大將軍。宋太宗太平興國二年（977年）擔任邕州、貴州、潯州、賓州、橫州、欽州六州都巡檢使，轉任瓊州、崖州、儋州、萬州四州都巡檢使，回京後，擔任右千牛衛上將軍。雍熙三年（986年）判右金吾街仗兼六軍司事。端拱元年（988年）李崇矩去世，謚元靖。其孫李遵勖。