西元前117年，漢武帝與張湯研議發行「白鹿皮幣」，一張白鹿皮幣，價值四十萬錢，親王貴族到長安朝覲皇帝時，都要購買，是一種變相勒索。武帝徵求顏異意見，顏異提出了不同看法：「今王侯朝賀以蒼璧，直數千，而其皮薦反四十萬，本末不相稱。」武帝大不高與。

酷吏張湯本與顏異有讎隙，後來有人告發顏異反政府，武帝讓張湯審理顏異一案。張湯查出，顏異與賓客交談，賓客批評政府，顏不回答，但稍微動了一下嘴唇，張湯就說這就是腹誹（在心中誹謗），所以判處死刑。