劉茂叔父是漢順帝時的司徒劉光，他年輕熟讀經史，有遠志。舉孝廉，任雍丘令，施行教化，息訟勸善。在任四年，母亡去職回鄉服喪。喪滿後，太尉胡廣推薦他賢良方正，官至尚書令。梁冀專權，他自請出任常山國相。梁冀死後，他任太常。漢桓帝延熹四年（161年）十月，太尉黃瓊卸任，劉矩被任命為太尉。次年，因南方蠻夷反亂，劉矩被免職，楊秉繼任。漢靈帝建寧元年（168年），劉矩接替周景再任太尉，同年因日食免職。