《漢書》曰：宣帝始立，謁見高廟，大將軍光參乘，上內嚴憚之，若芒刺在背。後張安世代光參乘，天子從容肆意甚安。及光身死而宗族竟誅。故俗傳之曰威震主者不畜，霍氏之禍萌于驂乘。