李昙少年时为孤儿，继母待他严酷，李昙事奉他更加谨慎，被乡里所称道效法。延熹二年（159年），尚书令陈蕃、仆射胡广等上疏推荐豫章徐稚、彭城姜肱、汝南袁闳、京兆韦著、颍川李昙，说他们德行纯备，能修德励行。汉桓帝以安车徵召，李昙没有应征。在家养亲行道，终身不仕，终于家中。