郭涼身長八尺，壯勇武猛，雖是武將，通曉經書，多智略，明曉邊事，在北方有名。最初，被幽州牧朱浮招聘任用為兵曹掾。薊城亂起，郭涼擊彭寵有功，封廣武侯。

建武年間為雁門郡太守，建武九年（33年），驃騎大將軍杜茂在雁門郡繁畤縣攻打盧芳部將尹由。盧芳的將領賈覽率胡人騎兵一萬援救，郭涼、杜茂敗退。後固守以待盧芳軍內部分裂。郭涼熟諳邊情，守御有方，誘降盧芳部屬頗多，盧芳勢力遂弱。

建武十二年（36年），盧芳攻打雲中郡失敗，尹由任用雁門人賈丹、霍匡、解勝為將帥守備雁門郡平城，結果他們殺害尹由歸降郭涼。郭涼將事情報告給漢光武帝，賈丹等被封為列侯。盧芳方面的城邑漸次來降，郭涼誅滅雁門豪族郇氏，保護一般民眾，平定雁門郡。盧芳于是逃到匈奴。光武帝以他的功績，擢升郭涼之子為中郎，擔當左右宿衛。