显宗即位，徵为尚书。时交址太守张恢，坐臧千金，徵还伏法，以资物簿入大司农，诏班赐群臣。意得珠玑，悉以委地而不拜赐。帝怪而问其故。对曰：“臣闻孔子忍渴于盗泉之水，曾参回车于胜母之闾，恶其名也。此臧秽之宝，诚不敢拜。”帝嗟叹曰：“清乎尚书之言！”乃更以库钱三十万赐意。转为尚书仆射。车驾数幸广成苑，意以为从禽废政，常当车陈谏般乐游田之事，天子即时还宫。永平三年夏旱，而大起北宫，意诣阙免冠上疏曰：“伏见陛下以天时小旱，忧念元元，降避正殿，躬自克责，而比日密云，遂无大润，岂政有未得应天心者邪？昔成汤遭旱，以六事自责曰：‘政不节邪？使人疾邪？宫室荣邪？女谒盛邪？苞苴行邪？谗夫昌邪？’窃见北宫大作，人失农时，此所谓宫室荣也。自古非苦宫室小狭，但患人不安宁。宜且罢止，以应天心。臣意以匹夫之才，无有行能，久食重禄，擢备近臣，比受厚赐，喜惧相并，不胜愚戆征营，罪当万死。”帝策诏报曰：“汤引六事，咎在一人。其冠履，勿谢。比上天降旱，密云数会，朕戚然惭惧，思获嘉应，故分布祷请，闚候风云，北祈明堂，南设雩场。今又敕大匠止作诸宫，减省不急，庶消灾谴。”诏因谢公卿百僚，遂应时澍雨焉。