趙德壽是北宋吐蕃青唐贊普唃廝囉之孫木征的後裔，被宋朝賜姓趙氏。高祖父趙巴命是金朝熙河路節度使、迭州安撫使，曾祖父趙阿哥昌歸順蒙古，官至疊州安撫使。祖父趙阿哥潘，隨元世祖征雲南，任臨洮府元帥。其父趙重喜。《元史》記載趙德壽是趙重喜之孫，官卓斯結之子。元惠宗至正四年（1344年），趙德壽由兵部尚書升任為中書參知政事，後來改任雲南行省左丞。