史書沒有記載他的生年。隋文帝時為太子右庶子，黃門侍郎。協助楊廣奪取皇位，傳說文帝就是他親手所殺。楊廣即位為隋煬帝，很重用張衡，官至御史大夫。後來被委派營建汾陽宮時，張衡藉機勸諫隋煬帝愛惜民力，遂見猜忌，獲罪除名為民，放還田裡。大業八年，以誹謗朝政之罪被賜死于家。

張衡死前大喊：「我為人作何物事，而望久活！」監刑者捂住雙耳，將他殺死。義寧年間，以死非其罪，贈大將軍、南陽郡公，謚號忠。子張希玄。