睦少好學，博通書傳，光武愛之，數被延納。顯宗之在東宮，尤見幸待，入侍諷誦，出則執轡。中興初，禁網尚闊，而睦性謙恭好士，千里交結，自名儒宿德，莫不造門，由是聲價益廣。永平中，法憲頗峻，睦乃謝絕賓客，放心音樂。然性好讀書，常為愛翫。歲終，遣中大夫奉璧朝賀，召而謂之曰：「朝廷設問寡人，大夫將何辭以對？」使者曰：「大王忠孝慈仁，敬賢樂士。臣雖螻蟻，敢不以實？」睦曰：「吁，子危我哉！此乃孤幼時進趣之行也。大夫其對以孤襲爵以來，志意衰惰，聲色是娛，犬馬是好。」使者受命而行。其能屈申若此。