祖輩六世仕遼，相繼為宰相，遼中京留守劉霄子。遼進士乙科出身。保大二年（1122年），天祚帝敗逃夾山（今內蒙古自治區呼和浩特西北），耶律淳在南京（今北京市）自立為帝，任劉彥宗為燕京留守判官，蕭德妃攝政期間，劉彥宗任簽書樞密院事，與左企弓等降金。降金後頗受器遇，輔佐完顏宗翰治理漢地，授同中書門下平章事，知樞密院事，加侍中。凡州縣之事皆委其裁決。金太宗天會二年（1124年）完顏宗翰大舉攻北宋，獻十策，兼領漢軍都統。曾參與謀議攻開封府（今河南省開封市），勸宗翰等入城後收宋朝圖籍、宮中器具，金軍虜宋徽宗、宋欽宗北歸，是劉彥宗之謀。天會五年（1127年），與完顏宗望還師，留在燕京（今北京）節制諸軍，佐完顏宗望治理燕京。次年，劉彥宗死。大定年間，追封兗國公，謚英敏。其子劉筈。