高祖父吳絢為德陽縣令，是尚藥奉御吳景達之子。曾祖父吳訓為神泉縣令。祖父郫縣丞吳令珪，父親吳澄江娶唐玄宗第十六女楚國公主為妻，姑母是唐代宗生母章敬吳太后。吳士廣的姑表兄唐代宗將女兒普寧公主嫁給他為妻，大曆七年（772年）七月十六日，與嘉豐公主同時出嫁。在光順門冊封，遇大雨，禮儀不成。吳士廣官至衛尉卿，生子吳同正。《新唐書》和《舊唐書》記其名為吳士廣。《元和姓纂》則記其名為吳士彥，其父名為吳澄。