李崇矩性情纯厚寡言，信奉佛教，造像建寺很多。开始作为后汉枢密使史弘肇的亲吏。后周时，入柴荣帐下。李崇矩跟随周世宗征北汉，因为立功转任供备库副使。宋太祖建隆元年（960年）李崇矩参加平定李筠、李重进之乱有功。乾德二年（964年）赵普为宰相，李崇矩代替赵普担任枢密使，因为与赵普联姻，使宋太祖感到不满。开宝五年（972年）出任镇国军节度使。开宝六年（973年）入为左卫大将军。宋太宗太平兴国二年（977年）担任邕州、贵州、浔州、宾州、横州、钦州六州都巡检使，转任琼州、崖州、儋州、万州四州都巡检使，回京后，担任右千牛卫上将军。雍熙三年（986年）判右金吾街仗兼六军司事。端拱元年（988年）李崇矩去世，谥元靖。其孙李遵勖。