是时大司农中丞耿寿昌奏设常平仓，上善之，望之非寿昌。丞相丙吉年老，上重焉，望之又奏言：“百姓或乏困，盗贼未止，二千石多材下不任职。三公非其人，则三光为之不明，今首岁日月少光，咎在臣等。”上以望之意轻丞相，乃下侍中建章卫尉金安上、光禄勋杨恽、御史中丞王忠，并诘问望之。望之免冠置对，天子繇是不说。