数岁，与故颍阴侯屏居蓝田南山中射猎。尝夜从一骑出，从人田间饮。还至亭，霸陵尉醉，呵止广，广骑曰：“故李将军。”尉曰：“今将军尚不得夜行，何故也！”宿广亭下。居无何，匈奴入辽西，杀太守，败韩将军。韩将军后徙居右北平，死。于是上乃召拜广为右北平太守。广请霸陵尉与俱，至军而斩之，上书自陈谢罪。上报曰：“将军者，国之爪牙也。司马法曰：‘登车不式，遭丧不服，振旅抚师，以征不服；率三军之心，同战士之力，故怒形则千里竦，威振则万物伏；是以名声暴于夷貉，威棱憺乎邻国。’夫报忿除害，捐残去杀，朕之所图于将军也；若乃免冠徒跣，稽颡请罪，岂朕之指哉！将军其率师东辕，弥节白檀，以临右北平盛秋。”广在郡，匈奴号曰“汉飞将军”，避之，数岁不入界。