《东观汉记》曰：永平十五年，上始欲征匈奴，与窦固等议出兵调度，皆以为塞外草美，可不须谷马。案军出塞无谷马故事。马防言常与谷，上曰：“何以言之？”防对曰：“宣帝时，五将出征，案其奏，言匈奴候骑得汉矢，见其中有粟，知汉兵出，以故引去。以是言之，马当与谷。”上善其用意微致，即下调马谷。防遂见亲也。
又曰：建武初，谷食尚少。赵孝得谷，炊将熟，令弟礼夫妻出北，还，孝夫妻共蔬食茹菜。礼夫妻来辄独饴之，积久，礼心疑吝。后伺掩见，亦不复肯出。兄弟怡怡，乡里归德。