王霸少立清节，西汉末年王莽篡位，王霸隐居不仕。汉光武帝时应徵至尚书，他对皇帝称名，不称臣。后托病归乡，隐居如初，连徵不起。王霸与同郡令孤子伯为友，后来令孤子伯为楚相，而令孤子伯的儿子为郡功曹。王霸隐居，见令孤子伯的儿子衣服鲜艳，自己儿子蓬头垢面，慨然有感，怅然不乐。王霸之妻劝慰：「君少修清节，不顾荣禄。今子伯之贵孰与君之高？奈何忘宿志而惭儿女子乎！」，王霸遂专心隐逸。