永平初，辟司空府，以明經給事中，再遷越騎司馬，復留給事中。是時北匈奴遣使求和親。八年，顯宗遣眾持節使匈奴。眾至北庭，虜欲令拜，眾不為屈。單于大怒，圍守閉之，不與水火，欲脅服眾。眾拔刀自誓，單于恐而止，乃更發使隨眾還京師。朝議復欲遣使報之，眾上疏諫曰：「臣伏聞北單于所以要致漢使者，欲以離南單于之眾，堅三十六國之心也。又當揚漢和親，誇示鄰敵，令西城欲歸化者局促狐疑，懷土之人絕望中國耳。漢使既到，便偃蹇自信。若復遣之，虜必自謂得謀，其群臣駮議者不敢復言。如是，南庭動搖，烏桓有離心矣。南單于久居漢地，具知形埶，萬分離析，旋為邊害。今幸有度遼之眾揚威北垂，雖勿報荅，不敢為患。」帝不從，復遣眾。眾因上言：「臣前奉使不為匈奴拜，單于恚恨，故遣兵圍臣。今復銜命，必見陵折。臣誠不忍持大漢節對氈裘獨拜。如令匈奴遂能服臣，將有損大漢之強。」帝不聽，眾不得已，既行，在路連上書固爭之。詔切責眾，追還繫廷尉，會赦歸家。